本项目面向企业内部知识管理、科研资料管理、客服知识库和文档问答场景。传统文档管理方式中，大量 PDF、Word、Markdown、网页资料和业务文档分散存储，用户需要依赖关键词搜索或人工翻阅，效率低、定位不准，也难以直接基于文档内容进行问答。本系统通过 RAG 检索增强生成技术，将企业文档解析、切片、向量化并存入向量数据库，用户可以直接用自然语言提问，系统自动召回相关内容，组装上下文并调用大模型生成回答，同时返回引用来源，解决企业知识沉淀难、文档检索慢、问答结果不可追溯等问题。
该项目是一个完整的企业级 RAG 知识库问答系统，支持文档上传、文本解析、内容切片、Embedding 向量化、向量数据库存储、自然语言检索、上下文组装、大模型回答生成和来源引用返回等核心功能。
系统后端采用 Python + FastAPI 构建接口服务，使用 PostgreSQL 存储用户、文档、任务和问答记录等结构化数据，使用 Qdrant 作为向量数据库存储文档切片向量。文档上传后，系统会自动解析文本内容，并按照长度、语义边界和重叠窗口进行切片处理，再调用 Embedding 模型生成向量并写入向量库。
用户提问时，系统会先将问题向量化，再从 Qdrant 中召回最相关的文档片段，经过相似度过滤、Top-K 排序和上下文压缩后，组装成适合大模型输入的 Prompt。随后通过统一的大模型网关调用 OpenAI 兼容接口或国产大模型接口，生成最终回答，并在回答结果中返回引用文档、片段来源和相似度信息，保证回答内容可追溯、可验证。
项目还设计了异步任务机制，用于处理大文件解析、批量向量化和耗时任务，避免接口阻塞；同时预留了权限控制、日志追踪、异常处理、模型切换、检索参数调优和 Docker 部署能力，方便后续扩展为企业内部知识库、智能客服、科研文献助手、合同审查助手或行业问答系统。
项目亮点包括：完整实现 RAG 核心链路，不只是简单调用大模型 API；支持结构化数据与向量数据分离存储；支持多模型接入和统一网关管理；支持来源引用，降低大模型幻觉风险；系统架构清晰，便于扩展权限、后台管理、数据看板和多租户能力。
我在项目中主要负责 RAG 知识库问答系统的后端核心链路设计与实现，包括文档上传、文件解析、文本清洗、语义切片、Embedding 向量化、向量数据库写入、自然语言检索、Prompt 上下文组装、大模型调用和来源引用返回等功能。
项目采用 Python + FastAPI 构建后端接口服务，使用 PostgreSQL 存储文档元数据、任务状态、用户问答记录等结构化数据，使用 Qdrant 作为向量数据库存储文档切片向量。文档上传后，系统会自动解析 PDF、Word、Markdown 等文件内容，并按照 token 长度、段落边界和滑动窗口进行切片，再调用 Embedding 模型生成向量并写入向量库。
在用户提问阶段，系统先对问题进行向量化，通过 Top-K 相似度检索召回相关文档片段，再进行相似度过滤、上下文压缩和 Prompt 组装，最后通过统一的大模型网关调用 OpenAI 兼容接口或国产大模型接口生成回答。回答结果会同步返回引用来源，包括文档名称、片段内容和相似度信息，降低大模型幻觉问题，方便用户核验答案依据。
实现难点主要包括大文件解析的耗时处理、文本切片粒度控制、检索召回准确率、上下文长度控制、模型接口异常处理和回答来源可追溯。为了解决这些问题，项目设计了异步任务机制处理文件解析和向量化任务，避免接口阻塞；同时将结构化数据和向量数据分离存储，提升系统扩展性；并封装统一的大模型调用层，支持后续切换不同模型、调整检索参数和扩展权限管理、日志追踪、后台管理等能力。
该项目完整跑通了从文档入库到自然语言问答的 RAG 核心闭环，不只是简单调用大模型 API，而是具备可部署、可扩展、可追溯的工程化系统结构。
评论