rag基座系统产品系统Vibe Coding

RAG（检索增强生成）基座系统的建设，旨在解决大语言模型在专业领域应用中普遍存在的知识时效性不足与内容幻觉两大核心问题。传统大模型的知识固化于训练数据中，无法实时获取企业私有知识或最新行业信息，导致回答缺乏事实依据。本系统通过构建外挂式知识库，将检索与生成相结合，使模型在回答问题时能够从专属知识库中检索相关上下文，从而生成可溯源、高可信的答案。系统可广泛应用于企业智能知识库、行业智能客服、专业技术问答等场景，帮助企业将分散的文档资产转化为可被AI直接调用的知识资源。

1. 文档处理与解析模块：支持PDF、Word、Excel、TXT、Markdown等多格式文档的自动解析与内容提取，实现从原始文档到结构化文本的标准化转换。
2. 智能切片与向量化模块：将长文档按语义边界切分为适宜检索的文本片段（通常300-800 tokens），并通过Embedding模型将文本片段转换为高维向量，存入向量数据库。
3. 检索引擎模块：支持向量相似性检索与关键词检索（BM25）的混合检索策略，通过重排序（Rerank）机制优化检索结果的相关性排序。
4. 生成与问答模块：将检索到的相关文档片段作为上下文注入大模型提示词，驱动模型基于事实依据生成精准回答，并支持答案溯源与引用标注。
5. 智能体编排模块：支持MCP工具调用与Skills编排，实现多步骤推理与复杂任务自动化处理。

我负责了本RAG基座系统的全流程搭建与优化工作，具体包括：多格式文档解析流程的设计与实现、文本切片策略的调优（解决语义完整性与检索精度的平衡问题）、向量数据库的选型与部署、检索-生成链路的端到端集成，以及基于MCP协议的智能体工具开发。同时负责系统的容器化部署与性能调优，确保服务稳定性。
2. 技术栈、架构与实现亮点：
技术栈：Python为核心开发语言；Docker实现容器化部署与环境隔离；NoSQL（向量数据库如Milvus/Qdrant/ChromaDB）存储文本向量与元数据；Embedding模型选用bge-m3等高性能语义向量模型；大模型层支持DeepSeek等开源模型的私有化部署。
架构设计：遵循经典的RAG三层架构——数据层（文档解析与向量化存储）、检索层（混合检索与重排序）、生成层（上下文增强与LLM推理）。
实现亮点与难点：
切片策略优化：针对不同文档类型设计语义感知的切分策略，通过保留标题、代码块、表格等结构信息，避免关键语义在切分时被割裂，显著提升检索召回率。混合检索与重排序：结合向量检索的语义理解能力与BM25的关键词精确匹配能力，通过RRF（倒数排名融合）算法融合多路检索结果，再经重排序模型精排，有效平衡了检索的召回率与精准率。端到端可观测性：在检索与生成之间设置相关性门控机制，过滤低质量检索结果，确保大模型仅基于高相关度上下文生成回答，从源头控制幻觉风险。