企业级知识库产品系统Vibe Coding

传统知识库系统将文档资料上传到系统中，但文档只能用于维护方便后续查看，并不能进行检索，（如针对人事部上传的考勤管理制度问迟到扣多少钱）是做不到的，当检索一个不存在的资料时，基础大模型是无法回复的，就算回答也是网络上的一些通用信息，无法根据企业垂直业务进行回答。有了RAG后就可以非常方便的做到。

一、文件指纹&去重
文件去重不仅节省存储空间更是为了避免重复解析、重复污染知识库严重影响检索排序（节省算力与时间）
文件指纹是文件处理的流水线入口身份证（病毒扫描——》OCR识别——》文本切片——》Embedding——》生成摘要——》构建索引）
二、记忆隔离
三、避免幻觉（打破大模型胡编乱造）
源数据质量→分片策略→Embedding质量→检索精度→Prompt设计→模型本身 每个环节出问题，都可能在最终回答中表现为"幻觉"
四、实现跨向量聚合问题（打破top-k限制）
eg：上了了某学校的花名册（幻觉问题）：①班级丢失导致无法检索 ②同一个班级的学生位于不同分块中导致检索不全）
五、来源追溯（使回答更加具有可信度，并非LLM胡编乱造）
六、知识库的文档上传更新？
场景一：文件本身过期，文件需要更新（策略：知识库隔离）
场景二：传错文件
七、权限隔离
八、PDF处理

一、文件指纹&去重
二、记忆隔离
三、避免幻觉（打破大模型胡编乱造）
四、实现跨向量聚合问题（打破top-k限制）
五、来源追溯（使回答更加具有可信度，并非LLM胡编乱造）
六、知识库的文档上传更新？
七、权限隔离
eg:如何保证普通员工收不到老板得机密合同？如何做权限隔离？（真实落地架构——纠正所有理论误区）
八、PDF处理
Agent的RAG系统遇到PDF文件如何处理？
文本型PDF走文本解析；扫描型PDF走OCR；图文混排型PDF要结合视觉处理/多模态理解（若第一步错了，后面切片、召回均会错），将文档的物理格式彻底打碎