1. 机器翻译分词模块:主要是基于开源分词数据+互联网新词+公司聊天累计数据等来优化 分词模块;包括基础预料预处理的标准制定、数据清洗、模型训练、线上对接翻译系统和相 关部署;模型训练主要是基于 CRF++框架和 Bilstm-crf 两种算法进行实验对比,两个算法最 终的结果都优于 jieba、hanlp 等开源的分词;最终上线的是 crf++,部署方式是 flask。 2. 实体识别和抽取:主要针对于翻译中出现的中文实体进行优化和抽取;主要是对中文人 名/地名/音译名等进行抽取和识别模块;该部分主要基于人民日报数据+常用人名(包括外 国音译和日本名等),算法用的 bilstm+crf,部署也是 flask。