AgentRadar产品系统Vibe Coding

一、行业场景与业务背景
1. 解决什么产品问题？
在传统的市场调研、用户研究以及早期产品需求验证中，产品经理、商业分析师和创业者通常面临以下痛点：

多平台数据壁垒高、搜集耗时极长：社媒平台（小红书、知乎、B站、Reddit、YouTube等）割裂严重，各平台反爬风控严格，人工跨平台检索、翻看评论与整理线索效率低下。
“先全量采集再分析”导致信息过载与高成本：传统爬虫习惯盲目抓取海量数据，其中充斥着大量无意义短评（如“哈哈”、“打卡”等水军/水帖硬噪声）和同质化观点，严重消耗研究精力与 LLM Token。
LLM 容易“凭空幻觉”与盲目下结论：普通 AI 助手做需求分析时，往往将极少数非普遍表达或主观直觉直接包装成“市场机会”，缺乏严密可溯源的证据链，且容易忽视反例（Challenge Cases）。
研究过程不可复现、不可追责：研究过程缺乏断点记录和阶段性质量门禁，一旦跨会话就难以恢复上下文，研究结论往往经不起业务逻辑推敲。
AgentRadar 的解法：
确立**“程序负责确定性底座，Agent 负责价值判断”**的分工模型。程序负责跨平台采集、去重过滤、阶段状态机与门禁校验；驱动自主规划的 AI Agent 边采边判、动态收敛，构建完整的“证据—矛盾—机会”可回溯推演链条。

2. 行业场景与业务背景
适用行业：互联网/泛消费/AI产品孵化、数字化战略咨询、新消费选品、独立开发者（Indie Hacker）商业化探索、SaaS 痛点挖掘。
业务场景：
母题研究模式（Macro Topic Research）：针对宽泛赛道（如“AI教育”、“AI招聘”、“银发经济”），进行全平台广度扫描、板块识别、人群与需求版图拓扑梳理。
专题研究模式（Focused Topic Research）：针对明确的细分方向（如“家长如何应对孩子用AI写作业”），通过**问题树（Quest

AgentRadar 系统功能模块架构
├── 1. 多平台采集适配器层 (Platforms Layer)
│ ├── 国内平台：小红书、知乎、B站、微信公众号、微博
│ └── 海外平台：YouTube、Reddit、Google Search、Google Trends
├── 2. 核心底座与反爬引擎 (Core Engine)
│ ├── CloakBrowser 浏览器指纹会话管理
│ ├── 自适应频率限制 (RateLimiter)
│ └── 统一 HTTP 客户端与异步协议封装
├── 3. 数据去噪与饱和度探测 (Quality & Dedupe Layer)
│ ├── L0 结构性噪声过滤 (硬噪声/无意义符号/无价值短评)
│ ├── 语义相似度增量去重 (dedupe_check)
│ └── 信号饱和度评估 (assess_signal_saturation)
├── 4. 阶段状态机与门禁系统 (Gate Runtime & Checkpoints)
│ ├── 7 大研究阶段状态机 (Planning -> Collection -> Analysis -> Opportunity -> Report ...)
│ ├── 5 大 Gatekeeper 阶段守门审核
│ ├── 中间产物 Schema 验证 (validate_artifact)
│ └── 研究断点与假设留痕 (record_research_checkpoint)
└── 5. 标准 MCP 服务接入层 (MCP Server Layer)
└── 基于 FastMCP 向上游 Agent 暴露标准化 Tooling 接口

功能模块 核心能力描述
全渠道社媒检索与深挖 提供统一标准化接口，支持搜索热帖/视频、获

1. 技术栈
开发语言与环境：Python 3.11+、现代包管理 uv / pip。
协议与 Agent 交互标准：Model Context Protocol (MCP)，采用 mcp[cli] / FastMCP 实现标准 stdio 交互，可直接作为 Claude Code、Cursor、Codex 等 AI Agent 的外部扩展大脑。
采集与反反爬引擎：
CloakBrowser：基于持久化上下文的自动化反反爬无头浏览器，注入防指纹识别、设备仿真与真实浏览器行为特征（用于小红书、知乎等强风控场景）。
yt-dlp：负责 YouTube 视频元数据与评论树的高效抽取。
pytrends：对接 Google Trends 获取全球/区域时序热度与关联查询。
rdt-cli：命令行式高效 Reddit 结构化数据解析。
aiohttp / httpx / requests：异步高并发网络请求与长连接管理。
数据与存储：
JSON Lines (.jsonl)：流式、增量存储中间数据（候选样本队列、证据卡片、断点日志、门禁记录），具备高容错与跨会话恢复能力。
Markdown：知识沉淀与报告标准输出载体。
核心算法与辅助：
自研轻量级中文分词与字符级/双字 N-Gram Tokenizer。
基于 difflib.SequenceMatcher 与集合重合度的文本相似度计算算法。
正则表达式与 Unicode 规范化清洗过滤引擎。
2. 系统架构设计
AgentRadar 采用分层解耦 + 状态机拦截架构：

接口协议层（MCP Server Interface）：
暴露 search_*、get_*_detail、get_*_comments、get_heat 等采集工具；
暴露 quick_classify、dedupe_check、assess_signal_sa