Query成分分析（NER）产品系统

Query成分分析是搜索与NLP领域的基础技术，核心是将用户输入的自然语言查询，拆解为结构化的语义单元并识别其修饰关系，典型成分包括核心主体词、属性限定词、品牌词、意图词、场景词、数值条件等，是搜索、对话、推荐系统的底层支撑技术。
该技术的落地覆盖绝大多数涉及用户文本交互的行业。
通用搜索引擎行业：精准语义检索、语义消歧、缺失意图补全
电商零售行业：商品精准召回与排序、口语化Query标准化、跨类目导购推荐
智能客服与对话机器人：业务路由与自助办理、槽位自动填充与追问、知识库精准匹配
在线广告行业：广告精准匹配、无效流量过滤、投放词拓展
内容与短视频平台：内容搜索精准匹配、用户兴趣画像构建
政务与公共服务：办事指南精准触达、民生政策解读
医疗健康行业：智能导诊前置分流、药品与医学信息检索
金融行业：智能行情与产品查询、理财需求匹配、合规风控识别
教育行业：题库与学习资源匹配、智能答疑解析
本地生活与出行行业：到店商家筛选、出行路线规划
企业内部知识管理：内部文档与数据检索、合同/法务文件检索

设计了数据模块、模型模块、学习模块、系统模块、其他（配置、常量、工具等）模块。
数据模块：用于处理序列标注数据的Dataset类和各种数据处理与预处理、数据统计与元数据生成、数据集划分等函数。
模型模块：定义了Query成分分析模型LSTMCRFModel，是一种基于LSTM、CRF实现的Query语句成分分析模型。
学习模块：模型训练和评估的核心逻辑。它包含了数据生产者和消费者的实现，训练和评估模型的函数，以及模型准备和保存的功能。通过使用多线程和多进程技术，该模块能够高效地处理大规模数据集，并在训练过程中动态评估模型性能。整个流程包括数据加载、模型训练、性能评估以及结果记录等关键步骤，为整个项目的运行提供了基础支持。
系统模块：一个用于Query成分分析的系统，包含模型加载、数据处理和成分预测功能。系统支持多种模型类型（如LSTMCRFModel和XxxModel）以及不同的输出模式。通过使用预训练模型对输入文本序列进行编码和成分预测，系统能够为每个文本序列预测生成一个标签序列，用于解析文本序列的成分序列。该模块还包括结果保存功能，可以将文本序列解析结果输出到CSV文件中，同时将评测结果输出到TXT文件中，以便进一步分析和使用。
其他（配置、常量、工具等）模块：用于辅助以上四个模块的辅助模块。

实现了深度学习模型、CRF全局最优化、分词粒度解析、BIOES标记模式、多线程加速训练、批量Query解析、实时Query解析、高度灵活定制
- 深度学习模型：基于深度学习LSTM结合CRF实现的Query语句成分分析模型。该模型架构由四个主要部分组成
1. Embedding组件：将离散词元token转为稠密向量。
2. LSTM组件：双向、可多层编码上下文语义。
3. Linear组件：映射到标签空间，得到发射分数。
4. CRF组件：学习标签转移矩阵，全局最优解码。
- CRF全局最优化：在使用深度学习特征结果进行标签预测时，为了防止出现标签不合理转移采取了CRF全局最优化，最终在所有可能的标签路径中选取整体概率最大的标签序列。
- 分词粒度解析：对文本进行Query成分分析时，采取分词粒度的分析，而不是字符粒度的分析，从而充分地利用文本中的原始信息，避免文本信息丢失。
- BIOES标记模式：显式建模实体首尾边界与单词实体，能减少解码时的非法序列。
- 多线程加速训练：在模型训练时，使用了多线程技术，能够充分地利用硬件资源来加速模型权重的训练速度。
- 批量Query解析：批量序列解析系统，能够为每个文本序列生成一个成分标签序列，在保存输出结果时，将文本序列解析结果输出到CSV文件中，同时将评测报告输出到TXT文件中，以便进一步分析和使用。
- 实时Query解析：实时序列解析系统，能够为当前输入的文本序列实时地生成一个标签序列，用于解析文本序列的成分序列。
- 高度灵活定制：实现了各种非常方便实用的灵活定制，包括模型类型（如LSTMCRFModel等）、模型输出模式（包括统一一个整体模型输出、多个单独模型输出）、训练模式（包括接着原来的模型继续训练、重新训练模型）、运行模式（包括线上运行模式、线下调试模式）等。