smallseg--开源的，基于DFA的轻量级的中文分词工具包
特点：可自定义词典、切割后返回登录词列表和未登录词列表、有一定的新词识别能力。
Python示例代码：
s3=file("text.txt").read()words=[x.rstrip()forxinfile("main.dic")]fromsmallsegimportSEGseg=SEG()print'Loaddict...'seg.set(words)print"DictisOK."A,B=seg.cut(s3)#A是识别出的登录词列表，B是未登录词列表fortinA:try:printt.decode('utf-8')except:passprint"============================"fortinB:try:printt.decode('utf-8')except:passJava示例代码：
Segseg=newSeg();seg.useDefaultDict();System.out.println(seg.cut("至于在这个程序中没有太大的意义,这是Java提供的强制转化机制。草泥马"));stdout>>r:[至于,在这,程序,没有,太大,意义,这是,提供,强制,转化,机制]u:[Java,草泥马,泥马](因为“草泥马”并没有在词库中)
评论