针对企业内部海量文档难以检索、传统客服或问答效率低下的痛点。在企业级SaaS服务中,数据隐私和知识库问答是核心需求。本项目旨在解决将企业私有文档转化为大模型可理解的知识库的问题,通过RAG(检索增强生成)技术,让大模型基于文档内容精准回答,避免大模型“幻觉”导致的业务风险,适用于企业内部知识管理、智能客服、文档解析等场景。
点击空白处退出提示
针对企业内部海量文档难以检索、传统客服或问答效率低下的痛点。在企业级SaaS服务中,数据隐私和知识库问答是核心需求。本项目旨在解决将企业私有文档转化为大模型可理解的知识库的问题,通过RAG(检索增强生成)技术,让大模型基于文档内容精准回答,避免大模型“幻觉”导致的业务风险,适用于企业内部知识管理、智能客服、文档解析等场景。
本项目包含四大核心模块:
1、用户鉴权模块:基于 JWT Token 实现安全的用户注册、登录与权限校验。
2、文档管理模块:支持上传 TXT/PDF 格式的私有文档,后端自动解析并进行文本切分。
3、向量知识库:结合大模型 Embedding 技术,将文本切片存入 Redis 向量数据库,实现多知识库的物理隔离。
4、智能问答模块:通过 LangChain 的 LCEL 链式调用,提取用户问题、检索相关上下文,并拼接 Prompt 输出最终回答。支持流式输出与异步任务处理。
1、我负责整个系统从0到1的独立架构设计与全栈开发。
2、技术栈:采用 FastAPI 提供高性能异步后端服务,SQLModel/SQLite 处理关系数据,Redis 作为向量数据库与缓存,Celery 处理大文件解析的异步任务。前端使用 Streamlit。
3、亮点与难点:引入了 Docker Compose 进行服务编排,实现了“一键部署”;在依赖管理中解决了复杂的底层包冲突;设计了健康检查机制(Healthcheck)确保服务启动顺序。针对长文档解析,使用了 Celery 异步队列,防止主线程阻塞,提升了系统的并发处理能力。



评论