某企业内部培训平台需要搭建一套私有知识库问答系统，用于员工培训、制度查询、流程答疑、资料检索。
系统基于 Dify + LightRAG + 本地向量库 构建，员工通过自然语言提问，系统从企业内部文档中检索相关资料并生成答案。
但在上线前，项目团队面临几个核心问题：
1、系统回答不够准确，有时会引用错误文档；
2、大模型存在幻觉，会编造不存在的制度和流程；
3、相同问题换一种问法，检索结果不稳定；
4、敏感资料权限控制不明确，存在越权访问风险；
5、缺少标准化评测报告，无法证明系统是否达到上线条件。
因此需要对整套 RAG 知识库问答系统 进行专项评测，确保系统上线后能够稳定、准确、安全地服务内部员工。
专为企业私有 RAG 知识库问答系统提供全套评测服务，解决大模型幻觉、检索不准、问答结果不符合业务规范痛点。支持业务文档清洗整理、测试数据集搭建，覆盖召回效果校验、边界问答、并发压力多维度测试；精准识别系统缺陷，输出可直接落地的优化方案，适合需要上线私有大模型应用的创业团队与中小企业。
技术栈
Dify、LightRAG、Python、文档处理、提示词工程、Wireshark 抓包
本人职责
1、设计 RAG 应用完整评测方案：召回准确率测试、幻觉样本校验、边界问答、并发访问测试；
2、对业务文档进行清洗、切片规范校验，构建问答测试数据集；
3、批量构造测试提问，验证知识库检索效果，识别幻觉、答案错误、上下文丢失问题；
4、测试系统并发访问性能，定位接口超时、问答响应缓慢问题；
5、输出评测报告，针对召回策略、提示词、文档格式给出优化建议；
6、搭建简易测试知识库，方便客户后续自主回归验证。
难点与解决方案
难点：大模型输出结果无绝对标准答案，难以标准化判定缺陷
方案：制定标准化评分规则，区分【严重幻觉、答案不完整、答案轻微偏差】三个等级，建立人工复核机制。
量化成果
发现知识库切片、提示词缺陷 20 + 项；优化后知识库召回准确率提升 32%，业务场景幻觉问题大幅减少。
交付物（接单高价值服务）
RAG 评测方案、问答测试数据集、系统评测报告、知识库清洗规范、提示词优化建议文档
评论