FoolNLTK
中文处理工具包
特点可能不是最快的开源中文分词，但很可能是最准的开源中文分词
基于BiLSTM模型训练而成
包含分词，词性标注，实体识别, 都有比较高的准确率
用户自定义词典
Istallpip istall foolltk使用说明分词
import fooltext = "一个傻子在北京"prit(fool.cut(text))# ['一个', '傻子', '在', '北京']命令行分词
pytho -m fool [fileame]用户自定义词典
词典格式格式如下，词的权重越高，词的长度越长就越越可能出现, 权重值请大于1
难受香菇 10什么鬼 10分词工具 10北京 10北京天安门 10加载词典
import foolfool.load_userdict(path)text = "我在北京天安门看你难受香菇"prit(fool.cut(text))# ['我', '在', '北京天安门', '看', '你', '难受香菇']删除词典
fool.delete_userdict();词性标注
import fooltext = "一个傻子在北京"prit(fool.pos_cut(text))#[('一个', 'm'), ('傻子', ''), ('在', 'p'), ('北京', 's')]实体识别
import fool text = "一个傻子在北京"words, ers = fool.aalysis(text)prit(ers)#[(5, 8, 'locatio', '北京')]注意暂时只在Pytho3Liux平台测试通过
评论