中小企业(代账公司、律所、诊所、工厂、外贸公司等)内部文件很多,员工找资料主要靠翻 PDF 和问同事,效率低。这些资料又往往涉及客户隐私和商业机密,不能上传到网上的 AI 工具。本项目在企业自己的电脑上部署本地大模型,把内部文件变成可以直接提问的知识库,资料全程不出电脑,也没有按次收费的云端费用。
点击空白处退出提示
中小企业(代账公司、律所、诊所、工厂、外贸公司等)内部文件很多,员工找资料主要靠翻 PDF 和问同事,效率低。这些资料又往往涉及客户隐私和商业机密,不能上传到网上的 AI 工具。本项目在企业自己的电脑上部署本地大模型,把内部文件变成可以直接提问的知识库,资料全程不出电脑,也没有按次收费的云端费用。
1. 文档导入:支持 PDF、Word、TXT、Markdown 批量导入,按页切块并保留文件名和页码;导入中断后可以接着继续,已处理的文件不会重复处理。
2. 智能问答:用中文或英文提问,系统先检索最相关的段落,再由本地大模型生成答案。
3. 引用出处:每个回答都标明出自哪个文件第几页,点击引用可以查看高亮的原文段落,方便核对。
4. 网页界面:浏览器里直接使用,不需要安装客户端。
5. 准确率测试:自带评估脚本,可以用客户自己的问题测试检索是否找对了出处。
我独立完成了整个项目的设计、开发、部署和测试(开发中使用 Claude Code 等 AI 编程工具)。
技术栈:后端 Python + FastAPI;向量模型 bge-m3(中英文都支持),向量和文本存在 SQLite;问答模型为通义千问 qwen3:14b,通过 Ollama 在本地显卡运行(笔记本 RTX 5070 Ti,12GB 显存),不调用任何云端 API。
亮点:按页切块保留页码,答案可以追溯到原文;用 6 份美国税务局(IRS)官方出版物、我自己编写的 24 道中英文测试题做评估,正确出处全部排在前 3 名,每个回答约 6 秒。



评论