基于大语言模型的垂直领域小说知识库 RAG 智能问答系统产品系统

传统文本检索依赖关键词匹配，在小说、文学类场景中无法识别语义、人物关联与剧情逻辑，通用大模型直接问答易产生剧情编造、人物设定错乱等幻觉问题，无法精准匹配原著内容。本项目面向网文爱好者、文学内容检索场景，搭建垂直小说专属 RAG 知识库问答平台，依托向量语义检索 + 大模型生成架构，规避通用大模型凭空编造内容的缺陷，实现原著内容精准问答，解决传统检索语义割裂、模型输出不可信、长篇小说剧情检索效率低下的痛点，可拓展至各类垂直文本知识库落地使用。

文本预处理模块：自定义重叠窗口文本分块算法，对长篇小说做分段处理，保留人物、剧情上下文关联，避免长文本语义断裂；
向量库构建模块：调用 OpenAI Embedding 完成文本向量化，批量并发写入 Milvus 向量数据库，构建专属语义索引；
智能问答检索模块：用户输入问题后完成向量相似度 Top-K 检索，召回原著相关片段，送入大模型生成答案；
幻觉抑制模块：定制约束 Prompt 模板，增加原文依据校验机制，无匹配文本时自动拒答，保证输出内容全部来源于知识库原文；
批量数据处理：支持小说文档批量导入、分钟级向量化入库，检索响应速度达到秒级，复杂剧情问答准确率稳定 90% 以上。

本人独立完成全流程开发，后端基于 Node.js 搭配 LangChain.js 搭建 RAG 完整链路，使用 Milvus 作为向量数据库存储文本向量，对接 OpenAI 大模型完成嵌入与文本生成。针对长篇小说长文本丢失上下文问题，自研重叠窗口分块策略；通过并发向量化提升海量文本入库效率，优化 Top-K 检索逻辑缩短响应耗时。设计强约束 Prompt 工程与内容校验逻辑，从源头抑制大模型幻觉。全程使用 Git 管理代码，规范化模块拆分，独立完成数据调试、检索效果测试、问答逻辑迭代，落地一套可复用的垂直领域 RAG 知识库解决方案。