企业级RAG平台产品系统

针对企业在知识管理中面临的信息孤岛、检索效率低、知识复用困难等痛点，构建基于大模型的智能问答系统。传统搜索引擎难以理解语义、无法处理多模态文档、缺乏知识关联挖掘能力，导致企业知识资产利用率低下。
行业场景与业务背景： 本项目面向制造业、金融、政务等知识密集型行业，解决企业内部文档（合同、技术手册、政策法规等）的智能检索与问答需求。支持多租户架构，适配集团化企业的组织隔离与权限管控场景，实现知识库的安全共享与协作。

1. 多格式文档解析引擎： 支持PDF、Word、PPT、Excel等主流格式的智能解析，集成版面分析、表格识别、OCR等能力，实现文档结构化抽取与语义分块（SemanticChunker）。
2. 混合检索系统： 基于Elasticsearch构建BM25关键词检索与KNN向量语义检索的融合架构，支持多路召回（FusionRetriever）、Rerank精排、相似度阈值过滤，显著提升检索查全率与查准率。
3. 知识图谱构建： 利用Neo4j图数据库，通过大模型自动挖掘文档间的语义关联关系，构建企业级知识网络，支持关联知识推荐与溯源。
4. RAPTOR层次摘要： 基于UMAP降维与高斯混合模型聚类，对知识块进行层次化聚合摘要，提升长文档与跨文档问答的上下文理解能力。
5. 智能写作与Agent工作流： 集成LangGraph构建的Agent系统，支持大纲生成、素材管理、自动成文；支持多模态问答（图像/视频）及联网搜索增强。
6. 企业级特性： 多租户隔离、组织权限管控、知识库分类管理、对话历史追溯、流式输出、大模型一键切换等。

我负责的核心任务：
设计并实现混合检索架构，包括BM25+KNN融合策略、多路召回与Rerank重排序模块
开发多格式文档解析器，集成版面分析与语义分块算法
构建基于Neo4j的知识图谱关系挖掘与存储模块
实现RAPTOR层次聚类摘要算法，优化长文档问答效果
技术栈与架构：
后端框架： FastAPI + uvloop异步优化，支持SSE流式响应
检索引擎： Elasticsearch（混合检索）、LlamaIndex（向量索引）
图数据库： Neo4j（知识图谱存储与查询）
存储层： MySQL（业务数据）、MinIO（文档对象存储）
AI模型： BCEmbedding向量模型、Rerank重排序模型、Qwen/DeepSeek等大模型
Agent框架： LangGraph状态机工作流
技术亮点与难点：
基于RRF（Reciprocal Rank Fusion）的多路召回融合算法，平衡语义与关键词检索权重
实现租户级别的ES索引隔离与Neo4j图数据隔离，保障多租户数据安全
异步并发的文档解析任务队列（trio），支持大批量文档的高效处理
针对中文场景优化的分词器（rag_tokenizer），支持细粒度分词与同义词扩展