投研人员（个人投资者 / 私募研究员 / 卖方分析师）的日常工作中，最大的时间成本是信息筛选——每天需要消化大量的券商研报、财经新闻、行业资讯、社交媒体观点，但有效信息密度低、重复信息多、关键信息容易被埋没。
通用 AI 助手（ChatGPT、文心一言、豆包）虽然能做摘要，但有三个致命问题：
1）数据隐私：投研笔记、关注标的、决策思路是核心资产，无法上传到云端 SaaS；
2）数据时效：通用 AI 训练数据有截止时间，无法实时获取最新研报和新闻；
3）答案可信度：通用 AI 容易"编造看似合理但实际错误"的内容（幻觉），投研场景对引用准确度要求极高。
本项目目标：搭建一套完全本地化部署、数据私密、引用精准、可控可审计的投研知识库 + 智能问答系统，部署在客户 Mac 设备本地，按用户关心的标的或行业实时召回相关研报、新闻、自有笔记内容，给出带引用源的结构化回答，让用户用最少时间抓住要点。
系统由数据接入层、解析索引层、检索问答层、前端层四大模块构成：
1）数据接入：公开渠道券商研报爬虫 + 主流财经新闻爬取 + Obsidian Vault 本地笔记同步三类数据源，支持增量去重、定时调度、异常重试。
2）文档解析：pdfplumber 处理原生 PDF（含嵌入图表的文字版研报，可完整提取正文、标题层级、图表 caption、关键字段）+ readability 处理 HTML 网页正文 + unstructured 处理 Markdown，关键字段（公司名、股票代码、目标价、评级、盈利预测、发布日期）通过 LLM 结构化抽取 + Pydantic 校验。
3）分块策略：Parent-Child 两级分块 + Semantic Chunking——child chunk（128-256 token）用于精准检索命中，命中后回溯到 parent chunk（完整段落）送入 LLM 提供完整上下文。
4）向量化与索引：Qwen3-Embedding-8B 做 dense + sparse 双向量，Qdrant 向量库，metadata 支持标的 / 行业 / 发布日期 / 来源多维过滤。
5）混合检索：Hybrid Search（dense + BM25）+ RRF 融合（k=60）+ Qwen3-Reranker-8B Cross-Encoder 精排，Top-20 → Top-5。
6）问答生成：LLM 摘要 + 结构化 JSON 输出（含 summary / key_points / citations / 关键字段）+ 引用校验（chunk_id 必须可溯源至 Qdrant，不可溯源触发重新生成）+ 查询改写（模糊问题自动生成多变体二次召回）+ 拒答机制（相关性低于阈值返回"未找到"）。
7）前端：Streamlit 查询界面，左侧参数栏（标
我在项目中负责整体架构设计、Hybrid RAG 检索链路实现、投研领域 prompt 工程、引用校验机制设计、评估体系建设等核心模块。
技术架构：
- 嵌入层：Qwen3-Embedding-8B（首选）/ BGE-M3（备选）通过 Ollama 在 Mac 上本地推理
- 检索层：Qdrant 向量库（dense + sparse 双向量）+ Hybrid Search + RRF 融合 + Qwen3-Reranker-8B Cross-Encoder 重排
- 分块层：Parent-Child 两级分块 + Semantic Chunking（按嵌入余弦距离识别主题切换点）
- 生成层：本地 Ollama（Qwen2.5-72B 等）+ 外部 API（DeepSeek-V3 / Qwen-Max）配置切换，OpenAI 兼容协议
- 解析层：pdfplumber + unstructured + readability 三引擎协同
- 前端：Streamlit
- 部署：Docker Compose（Mac ARM 原生兼容）
工程亮点：
1）Parent-Child 分块 + 回溯送入 LLM——既保证检索精度（child）又保证答案上下文完整性（parent），实测对长研报问答的答案质量提升明显；
2）多层引用校验机制——LLM 输出的 citation chunk_id 必须可在 Qdrant 中溯源，不可溯源触发重新生成；同时双模型 LLM-as-a-judge 交叉验证 + 人工抽样三层校验；
3）双模型 LLM 调用层——本地 Ollama 和外部 API 通过 OpenAI 兼容协议统一接口，配置文件一行切换，兼顾隐私和成本；
4）Embedding 实测降级机制——Day 1 实测 8B 模型在客户机器上的实际延迟（P95 阈值 2 秒），若不达
评论