语言技术
Python、Flutter、React、TypeScript、Go系统类型
Web、Android应用、HarmonyOS应用行业分类
人工智能、政务
立项原因：政务与政企场景下，大量非结构化文档（政策文件、调研报告、会议纪要、卷宗材料）散落于各业务系统，缺乏统一的知识检索与智能问答能力。现有RAG方案与企业业务系统集成门槛高——多租户凭证管理缺失、Office/图片/音频等异构语料预处理复杂、缺乏审计与去重机制。项目旨在构建从语料入库、智能打标、向量检索到终端问答的全链路知识中枢，降低业务系统接入RAG的成本。
行业场景与业务背景：面向政务智能办公与政策研究场景，知识库涵盖政策法规库（PDF/Word）、调研图集（ZIP批量照片）、会议纪要（音频/PPT）等。业务需要支持：①共享知识库与私有知识库双模式；②终端用户通过App/Web进行智能问答与文件查阅；③调研照片以图集形式按文件夹路径语义召回（而非逐张向量入库）；④入库过程可审计、可追溯，满足政务数据合规要求。
具体功能模块：
- 知识入库引擎：支持PDF/Word/PPT/Excel/CSV/图片/音频/压缩包等多格式语料，经Office转PDF、OCR、LLM打标、全局去重后送入RAG引擎；
- 图集管理模块：批量调研照片ZIP包经S3直存、runtime catalog生成、virtual_path路径召回，不走向量入库；
- 多租户集成层：App Key/Tenant Key/biz_user_id/end_user_id四层身份体系，提供机器API供下游业务系统调用；
- 虚拟文件树（VFS）：按终端用户隔离的目录视图，支持文件夹/文档挂载与全局文件名搜索；
- 智能问答与检索：Agent驱动的RAG检索（经AI Center代理），支持向量检索、metadata过滤、检索护栏与审计日志；
- Web集成管理台：Job任务监控、审计日志查看（Master-Detail）、全局上下文筛选、知识库浏览；
- 移动端App（Flutter）：智能问答Tab与文件查阅Tab，支持PDF预览锚点高亮（Trust Tier降级策略）及授权检索过滤。
主要功能描述：业务系统通过机器API或AI Center代理提交语料入库任务，后端Job Pool按配置并发执行格式转换、文本抽取、去重与LLM打标，最终写入RAGFlow多租户引擎并挂载至VFS。终端用户通过Flutter App或Web进行智能问答，Agent调用检索工具经metadata过滤返回chunk及位置信息，支持页面跳转与bbox高亮。调研图集以ZIP包批量上传，经解压校验后S3直存图片，生成runtime catalog供Agent发现与路径召回。集成管理台提供全链路审计，从入库任务到召回记录均可追溯。
负责的具体任务：
- 主导设计并实现ragflow-ingestion集成层：包括App Key机器API、Job Pool任务编排流水线、VFS虚拟文件树、集成审计后端与Web管理台；
- 主导图集模块从v1到S3直存改造：设计album数据模型、catalog原子写、virtual_path召回匹配逻辑，并同步@qzsy/rag-sdk；
- 跨仓联调与问题攻坚：私有库检索零命中修复（取消Job二次过滤）、K12大批量入库调参（并发控制+轮询超时）、超长文件名逻辑/磁盘名分离、ZIP中文GBK解码；
- 跨团队协作：与Shuangyuan-AI-SDK团队对齐/v1/rag/*代理路由、与zhihui-backend团队对齐ZIP图集流水线契约、与Flutter客户端对齐PDF预览锚点字段。
技术栈、架构与亮点难点：
技术栈：Go 1.24（net/http ServeMux）构建API服务；Flutter/Dart构建移动端；TypeScript+React+Vite构建管理台；Python子进程（LibreOffice/PyMuPDF）处理Office转换与OCR；S3兼容存储（MinIO/RustFS）存原件与图集；上游依赖RAGFlow多租户分支做解析/向量化/检索。
架构亮点：以ragflow-ingestion为BFF+ETL层，隔离业务系统与RAG引擎复杂度；图集采用S3直存+catalog文本召回，避免逐图向量入库的高成本；Job Pool状态机持久化至JSON，支持重启pause/resume；四层身份（app/tenant/biz/end_user）实现多租户隔离与审计。
攻坚难点：①RAGFlow解析队列过载时，通过INGEST_TASK_CONCURRENCY降并发+HTTP自动重试（502/503/504/429）保障稳定性；②全局去重导
评论