联通数科智慧城市城市治理知识库产品系统

联通数科智慧城市城市治理知识库项目（以下简称知识库，是智慧城市项目的一部分），是利用主流的LLM+RAG为上层智慧城市项目打造的具有富文本与多模态检索能力的知识库。

联通数科智慧城市城市治理知识库项目（以下简称知识库，是智慧城市项目的一部分），是利用主流的LLM+RAG为上层智慧城市项目打造的具有富文本与多模态检索能力的知识库。包括但不限于以下功能。
1.知识图谱
2.智能问答
3.模型管理
4.RAG检索
5.多模态数据导入
6.系统管理

我在项目中具体负责如下事务：
1. 作为架构师将项目划分为数据采集（解析与标注）、特征索引（向量化与分布式存储）、模型问答、多模态搜索四部分，业务微服务采用spring-boot+spring-cloud技术栈开发，与语言大模型交互部分则采用langchain框架开发。
2. 数据采集模块使用spring-boot+spring-cloud技术栈开发，中间件使用了kafka作流式管道。该模块的业务为将外部来的政企文件或知识资料通过kafka采集后读取内容提交给语言大模型进行标注与分类。
3. 特征索引模块使用spring-boot+spring-cloud技术栈开发，中间件使用了分布式elasticsearch系统存储文件的特征向量，还有ftp作为文件服务器。该模块通过与特征向量大模型进行交互后计算出文件的特征向量（将文件切词与向量化）后将特征索引存储在elasticsearch中，并在ftp服务器上存储副本。
4. 模型问答模块采用python-flask+langchain进行开发，中间件使用了推理平台Xinference。作为各种大模型交互的中间层屏蔽上层服务对大模型的感知同时与本地部署或外部的大模型进行交互。
5.多模态搜索采用spring-boot+spring-cloud技术栈开发，该模块主要负责将用户的多模态输入如语音、文字等进行分流、查询RAG大模型找到最匹配的问答，同时承担一部分精排策略的责任负责根据用户的历史输入偏好将匹配的回答或文件进行提权排序或降权