企业在市场竞争中需要持续监控竞品动态、产品迭代、市场策略变化,但传统竞品分析依赖人工搜集和整理,效率低下且容易遗漏关键信息。市面上缺乏一体化的竞品数据采集、清洗、分析、可视化平台。
本项目服务于企业内部的市场研究、战略规划、产品经理团队,提供从数据采集(RSS新闻/竞品官网/行业报告)→ 数据清洗去重 → AI智能分析 →可视化看板的完整竞品情报工作流。支持团队协作、标签分类、多赛道追踪、审计日志。
点击空白处退出提示
企业在市场竞争中需要持续监控竞品动态、产品迭代、市场策略变化,但传统竞品分析依赖人工搜集和整理,效率低下且容易遗漏关键信息。市面上缺乏一体化的竞品数据采集、清洗、分析、可视化平台。
本项目服务于企业内部的市场研究、战略规划、产品经理团队,提供从数据采集(RSS新闻/竞品官网/行业报告)→ 数据清洗去重 → AI智能分析 →可视化看板的完整竞品情报工作流。支持团队协作、标签分类、多赛道追踪、审计日志。
竞品管理模块:支持竞品信息的全生命周期管理(CRUD),包括工商信息、关联关系建模、多维度分类(赛道/标签/层级),批量导入导出,版本追踪。
数据采集管道:可配置的定时采集任务,支持 RSS 订阅源监控、NewsAPI 自动抓取、Firecrawl MCP 智能爬虫。采集链路包含质量评分、SimHash 去重、AI 洞察提取,数据进入暂存区经人工审核后入库。
AI 智能分析:内置 DeepSeek 大模型,支持自然语言查询竞品数据(NL2SQL),自动将中文问题转换为 SQL 执行查询并以图表可视化呈现,支持 SSE 流式响应。
社交协作空间:类 Discords 频道分组管理,WebSocket 实时消息通信,数字员工(AI Agent)自动化通知,消息检索。
数据治理:清洗规则引擎、暂存区审批流(待审核/已驳回/待发布)、数据质量看板(完整性/准确性/一致性评分)。
企业级基础设施:JWT 双 Token 认证(access + refresh)、RBAC 角色权限、全操作审计日志、系统健康监控、Docker Compose 一键部署。
我独立完成了全栈开发(后端 ~15,000+ 行 Python + 前端 ~8,000+ 行 Vue/TS)。后端采用FastAPI + SQLAlchemy 2.0 async + MySQL 8.0 + Redis + Arq,前端采用 Vue 3 + ElementPlus + TypeScript,容器化使用 Docker Compose。架构上我设计了模块化四层分离(Router → Service → Repository →Model),通过 ModuleRegistry 实现 12 个业务模块(竞品管理、数据采集、AI问数、内容审计、社交聊天、数据治理、数据仓库、标签赛道、仪表盘、系统权限等)的自动化注册互不感知,新增模块只需一行注册代码即可接入。具体负责了:BaseRepository泛型基类 + BaseCrudService 通用 CRUD 层,使 80% 数据操作零代码;JWT 双 Token 认证+ RBAC 权限体系;全操作审计日志(middleware + contextvar零侵入注入);采集管道(Firecrawl 智能爬虫 + RSS + NewsAPI + SimHash 去重 + AI洞察提取 + 暂存区审批流七步流程);AI NL2SQL 引擎(自然语言 → SQL →图表可视化,SSE 流式响应);WebSocket 实时聊天(Redis Pub/Sub 水平扩展);Alembic20+ 次数据库迁移版本管理。前端开发了完整设计 Token 体系(亮暗双模式)、22个业务页面和 20+ 自定义组件。
技术亮点:NL2SQL 经 Schema 注入 + Few-shot + 结果校验实现 85%+准确率;采集管道形成质量评分→去重→AI洞察→暂存区审核→入库的工业级标准化流程;模块化架构已在 5次模块扩展中验证零耦合。







评论