立项原因:企业内部知识分散在制度文件、产品手册、历史工单和多个业务系统中,员工查一条政策往往要跨系统检索、反复找人确认口径,经验难以沉淀;同时大模型应用的落地门槛很高——多模型接入、知识库建设、工具调用编排、权限隔离与发布运营,每个业务团队都在重复造轮子。因此立项建设统一的 LLMOps 智能体应用平台,目标是让不具备算法背景的业务人员,也能在平台上快速搭建并发布可用的 AI 助手,把企业知识与业务系统能力安全地开放给大模型使用。
行业场景:面向企业数字化与 AI 应用落地场景,典型如企业知识问答、客服与售后辅助、内部流程助手、数据分析问答。业务背景是:一方面大模型能力已足够成熟,企业缺的是"把模型接进现有系统"的工程底座;另一方面企业对数据安全、权限隔离、内容合规和成本可控有硬性要求,直接调用公有云 API 的"套壳应用"无法满足,需要可私有化部署、可审计、可持续运营的平台,并支持 SaaS 与私有化两种交付形态。
平台包含六个功能模块:
1、应用编排:支持对话式、Agent、工作流三类应用,可配置模型与参数、System Prompt、工具、知识库、开场白、建议问题、长期记忆、语音与内容审查,支持草稿/发布双版本管理与应用复制。
2、Agent 智能体:基于 LangGraph 状态图实现,兼容 Function Calling 与 ReAct 两种推理范式,支持多轮工具调用、最大迭代控制、执行过程可视化(思考链、工具调用、结果回填),可随时中断。
3、RAG 知识库:文档上传、多格式解析、分段清洗、向量化入库全链路异步处理,支持语义检索与关键词检索双路召回,提供命中测试与引用溯源。
4、可视化工作流:开始、结束、LLM、代码、HTTP 请求、工具、知识库检索、模板转换 8 类节点拖拽编排,支持 DAG 校验、节点级调试与执行日志。
5、工具与插件:内置谷歌/DuckDuckGo 搜索、高德地图、维基百科、时间等工具,支持通过 OpenAPI Schema 导入自定义 API 工具,一次接入即可被应用与工作流复用。
6、发布与运营:发布为独立 Web 应用或嵌入第三方页面,提供 OpenAPI 与 API Key 管理,并按应用统计调用量、耗时与 Token 成本。
我负责平台从 0 到 1 的全栈设计与开发。后端采用 Flask 分层架构(Router/Handler/Service/Core/Model)配合依赖注入,PostgreSQL 存业务数据、Redis 做缓存与任务标记、Celery 承担文档解析与向量化异步任务、Weaviate 做向量检索;前端基于 Vue3 + TypeScript + Pinia + Arco Design,用 Vue Flow + dagre 实现工作流画布。
难点与亮点:
1、Agent 引擎:用 LangGraph StateGraph 编排"前置审核→长期记忆召回→LLM 决策⇄工具执行",以条件边判断 tool_calls 是否为空来终止循环,并用 iteration_count 上限做双保险;对不支持 Tool Calling 的模型自动降级为 ReAct 文本推理范式。
2、流式通道:自研事件协议(消息增量、工具调用、心跳、停止、错误),服务端生成器直推 SSE,前端用 fetch + ReadableStream 手写解析,处理多字节截断、半帧缓存与多帧拼接,支持中断、续传与连接保活。
3、RAG 双路召回:向量检索叠加 jieba 关键词全文检索,用 RRF 融合排序,解决专有名词、条款编号检索不中的问题,并支持相似度阈值与引用溯源。
4、前端体验:工作流画布节点拖拽与连线校验,长对话采用虚拟列表与消息分片渲染,流式 Markdown 增量解析并保护未闭合代码块,首字延迟控制在秒级。
5、工程化:Docker Compose 编排 7 个服务,Nginx 反向代理加 HTTPS,Gunicorn 多 worker,Alembic 迁移,对外 100+ 接口、全栈约 4.2 万行代码。
声明:本文仅代表作者观点,不代表本站立场。如果侵犯到您的合法权益,请联系我们删除侵权资源!如果遇到资源链接失效,请您通过评论或工单的方式通知管理员。未经允许,不得转载,本站所有资源文章禁止商业使用运营!

下载安装【程序员客栈】APP
实时对接需求、及时收发消息、丰富的开放项目需求、随时随地查看项目状态
评论