项目背景:公司内部WIKI文档超10万份,覆盖医疗系统开发、运维规范、产品方案、故障处理等全业务场景,传统关键词检索存在查准率低、结果不精准、员工找资料耗时久等问题,需基于大模型RAG技术搭建智能问答系统,实现内部知识的精准检索与自然语言问答。
点击空白处退出提示
项目背景:公司内部WIKI文档超10万份,覆盖医疗系统开发、运维规范、产品方案、故障处理等全业务场景,传统关键词检索存在查准率低、结果不精准、员工找资料耗时久等问题,需基于大模型RAG技术搭建智能问答系统,实现内部知识的精准检索与自然语言问答。
搭建全链路文档处理体系:通过Python脚本实现全量WIKI文档的自动化爬取与清洗,支持Markdown、PDF、Word等多格式解析,结合PaddleOCR完成图片型文档的内容提取;基于语义级Chunking分块策略完成文档切分,兼顾上下文完整性与检索精准度;
构建高精准向量检索链路:选型适配医疗场景的BGE中文Embedding模型,完成文档向量化处理并存入Milvus向量数据库;设计「向量检索+关键词检索」的混合检索架构,加入Reranker重排序模块,解决长文档检索漏检、语义匹配不准的问题;
大模型集成与Prompt优化:项目初期基于Ollama部署Qwen1.5-7B模型进行快速原型验证;后来Llama3-8B发布后通过模型迁移完成医疗垂直场景大模型的本地化部署与INT4量化优化,通过Modelfile注入医疗行业系统提示词,规范输出格式与合规性;基于Prompt工程核心技法,设计问答优化Prompt,通过CoT思维链提升复杂问题的分步解答能力,有效抑制模型幻觉;
工程化落地与业务集成:基于LangChain框架搭建完整的RAG问答链路,通过FastAPI开发高并发问答接口,与公司现有运维平台、OA系统完成深度集成;设计用户权限管控体系,实现不同部门、不同岗位的文档访问权限隔离,符合医疗行业数据安全要求;基于Java开发配套的后台管理系统,支持文档实时更新、检索效果监控与模型调优。
主导项目全流程设计与落地,负责RAG架构设计、文档处理、向量数据库搭建、大模型选型与集成、检索策略优化、后端服务开发与全流程上线运维。




评论