1、立项原因与产品问题:在舆情监测、内容风控、行业研究等场景中,业务人员面对突发热点或争议话题时,依赖人工在微博、抖音、X、YouTube、Reddit等跨平台反复检索、比对信源、梳理时间线,耗时数小时甚至数天,且容易遗漏对立观点、混淆事实与传闻、无法沉淀可复用的知识资产。传统搜索引擎只给"结果列表",既不做证据评估,也不做立场对齐,更难以形成结构化结论。
2、行业场景:面向政企舆情研判、媒体智库、内容合规审核、跨境事件分析等B端场景,尤其适配需要多轮深度检索+多方立场辩论 + 时间线还原的争议性话题分析,替代人工完成从"关键词"到"结构化研判报告"的全链路。
1. 多轮智能主循环:R0 意图规划、初始探测、广覆盖检索、立场发现、多辩论收敛,自动决定何时深挖何时终止。
2. 知识框架沉淀:每轮增量更新话题时间窗、实体、关系、时间线、争议点、子话题与立场分布,并做快照留档。
3. 多源抓取层:统一编排MediaCrawler子进程(微博/抖音/小红书/B站/快手)、海外X/YouTube/Reddit、Tavily全网搜索、HTTP API、内部素材库。
4. 支持实体关系图、时间线，DebateArena多Agent立场辩论:针对争议点开辟多个并行辩论场,正反双方深挖对立论据,自动收敛立场分布。
5. 多形态部署:标准 MySQL、memory、纯内存无中间件、内网离线三种模式一键切换,配套 Redis查询/LLM缓存、Elasticsearch 论据全文索引、Neo4j知识图谱作为可选增强,全部默认关闭、零感知升级。
我在项目中负责的具体任务:主导整体架构设计与全栈开发,包括Flask服务编排、多Agent辩论调度、多源插件化扩展点、KnowledgeFrame增量沉淀与快照、Dockerfile与docker-compose 编排、对外HTTP API设计与客户端SDK。
技术栈:Python 3.13 + Flask 2.3 + gunicorn(单 worker 多线程,SSE友好)、SQLAlchemy + PyMySQL + MySQL 8、OpenAI 兼容SDK(DeepSeek /vLLM / Azure 多后端切换)、Redis(查询缓存 / LLM 缓存 / 分布式限流 / Job去重锁)、Elasticsearch、Neo4j(知识图谱)、Docker / docker-compose,前端原生 HTML + EventSource + D3 网络图。
评论