山东移动AI知识库项目产品系统Vibe Coding

山东移动内部沉淀了海量业务文档与运维知识，传统关键词搜索效率低下且无法回答复杂逻辑问题。本项目旨在构建一套基于RAG（检索增强生成）+ Agent（智能体）的私有化AI知识库系统，解决一线人员查资料慢、排查难的问题。作为国企内部系统，面临严格的数据安全与私有化算力成本限制，要求模型必须在本地服务器部署或调用内部模型平台api使用，同时需保证前台Agent文档检索的响应速度与回答准确率。

智能文档检索与问答（RAG）：支持多格式文档上传、解析清洗、切片与向量化入库。用户通过自然语言提问，系统基于向量数据库召回相关上下文，结合大模型生成精准回答。
Agent流程与工具调用：面向运维场景，Agent可自主分析用户意图，调用系统工具（如生成磁盘清理、日志分析脚本）完成长程任务。
私有化模型调度与管理：对接本地部署的开源大模型，提供模型路由与算力调度服务。
质量评测与监控看板：记录用户反馈、AI调用日志，动态计算准确率、拒答率及Token成本，为Prompt优化和模型迭代提供数据支撑。

本人在该项目中负责系统全链路运维，并深度参与围绕Agent流程的测试、调优与评测工作。
1. 私有化模型选型与算力评估（运维+AI）：基于业务需求与服务器算力进行大模型选型测试。重点评估本地部署的推理延迟、并发承载、显存占用及长文本处理表现，在保证前台Agent检索响应速度的同时，有效控制算力成本。
2. Agent流程搭建与Prompt调优：负责文档清洗策略制定、提示词（Prompt）持续优化以及Agent步骤流程搭建，确保多轮对话的稳定性。
3. 工具调用边界实测与Coding：在测试环境中，通过让模型生成磁盘清理、日志分析等高频Shell脚本，对Agent长程任务的工具调用失败场景进行深度测试，梳理并解决边界问题。
4. 评测闭环与指标体系建设：建立AI调用日志、用户反馈与输出修改记录机制，设计准确率、拒答率、Token成本等核心评估指标。结合真实业务流完成Agent长程任务实测，输出具体评测结论与优化建议。
技术栈：Linux、K8S、Docker、Shell、MySQL