xmnlp 轻量级中文自然语言处理工具开源项目

我要开发同款
匿名用户2021年10月17日
319阅读

技术信息

开源地址
https://github.com/SeanLee97/xmnlp
授权协议
Apache-2.0

作品详情

xmlp是一个轻量级中文自然语言处理工具,提供中文分词,词性标注,命名体识别,情感分析,文本纠错,文本转拼音,文本摘要,偏旁部首等功能。

功能概览中文简体词法分析(RoBERTa+CRFfietue)分词词性标注命名体识别中文拼写检查(Detector+CorrectorSpellCheck)文本摘要&关键词提取(Textrak)情感分析(RoBERTafietue)文本转拼音(Trie)汉字偏旁部首(HashMap)安装1.安装库方式1

安装最新版xmlp

pipistall-Uxmlp国内用户可以加一下idex-url

pipistall-ihttps://pypi.tua.tsighua.edu.c/simple-Uxmlp方式2

gitcloehttps://github.com/SeaLee97/xmlp.gitcd/path/to/xmlppipistall-rrequiremets.txtpythosetup.pyistall2.下载模型下载地址

请下载xmlp对应版本的模型,如果不清楚xmlp的版本,可以执行pytho-c'importxmlp;prit(xmlp.__versio__)'查看版本

模型名称适用版本下载地址xmlp-ox-models-v3.zipv0.3.2飞书[o4bA]|百度网盘[9g7e]*模型已切换至ox,先前tesorflow模型已不可用,请下载最新版本模型

*如果下载地址失效了,烦请提issue反馈

模型设置提供两种设置方式

方式1:配置环境变量(推荐)

下载好的模型解压后,可以设置环境变量指定模型地址。以Liux系统为例,设置如下

exportXMNLP_MODEL=/path/to/xmlp-models方式2:通过函数设置

在调用xmlp前设置模型地址,如下

importxmlp

xmlp.set_model('/path/to/xmlp-models')

*上述/path/to/只是占位用的,配置时请替换成模型真实的目录地址。

功能介绍

xmnlp 是一个轻量级中文自然语言处理工具,提供中文分词, 词性标注, 命名体识别,情感分析,文本纠错,文本转拼音,文本摘要,偏旁部首等功能。 功能概览 中文简体词法分析 (RoBERTa +...

声明:本文仅代表作者观点,不代表本站立场。如果侵犯到您的合法权益,请联系我们删除侵权资源!如果遇到资源链接失效,请您通过评论或工单的方式通知管理员。未经允许,不得转载,本站所有资源文章禁止商业使用运营!
下载安装【程序员客栈】APP
实时对接需求、及时收发消息、丰富的开放项目需求、随时随地查看项目状态

评论