LLMops大模型应用交付平台产品系统

随着大模型技术的发展，技术更新迭代，传统的低代码平台（coze，dify，fastgpt）已经不能满足日益复杂的业务开发，在这样的背景下，从0到1搭建了一个Python+Falsk+Langchain+langgraph+RAG的AI业务开发平台，该平台能够实现与业务需求结合的Agent智能体的快速开发，部署与调用

1.该项目可以实现低代码平台工作流节点的编排。
2.可以使用内置工具和Openapi规范的自定义工具。
3.通过RAG实现了对平台知识库的索引与检索，提高的平台大模型的检索精度，降低了大模型的幻觉。

LLMops平台主要分层七层架构：表示层，接入层，控制层，服务层，核心层，存储层和资源层
1)我主要负责平台的RAG功能，整个功能是基于Langchain的索引和检索组件实现的。
索引过程是我们的知识库使用了五张数据表，dataset(知识库表),document(文档表)，segment(分片表) ，keyword_table(分词分段索引表)和process_rule(分词规则表)。对文档进行预处理，包括解析和分割。解析 后，将文档分割成片段，并对这些片段进行分词，最终将分好的片段存储到segment表中。
检索过程是在进行问题查询时，我们一方面通过jieba对用户问题进行分词，并在keyword表中匹配关键词，根 据词找到对应的segment_id，从而查询到文档片段;同时我们将问题通过嵌入模型进行向量化，并通过向量数 据库进行检索，找到相关文档片段并获取segment_id。最后，将本地数据库Postgres中的数据与向量数据库 搜索到的结果一起发送给大模型，让大模型通过RRF算法获取最终答案并发返回给用户。RAG功能的实现，大 大提升了平台的大模型的检索精度，极大的降低了模型幻觉。
2)负责平台工具插件的设计和实现:
我设计并实现了平台的双轨制插件插件系统。第一种内置工具的实现主要是通过yaml来描述工具的具体实现， 我们会将工具的名称描述以及参数都丢给大模型，让大模型选择具体的工具，实现了基础工具的全局共享。针 对私有化和定制化需求，我构建了基于OpenAPI规范的自定义插件架构，通过OpenAPI Schema协议来描述 工具从而实现自定义工具的功能，通过第三方快速集成，对工具的操作的同时就不需要停止项目的运行。