全国商务动态监控平台产品系统Vibe Coding

这套系统不是通用爬虫，而是给地方政府商务主管部门做的对标情报产品。本市口径是重庆市商务委，监测对象是全国 31 个省会/直辖市商委，以及重庆各区县商务委。
一句话
把分散在全国（及本市各区县）政务网站上的商委动态，压成领导能在几分钟内决策的日报和对标视图。
行业场景

落在三类交叉地带：

政务信息公开与行业监测
各地商务委日常发布消费促进、外贸外资、电商、会展、保供、以旧换新、试点示范等。信息是公开的，但散落在 30 多个门户、栏目改版频繁、口径不统一。

地方政府的横向对标
省会之间比社零、外贸、消费券、试点争取；重庆内部还要比区县活跃度。传统做法是处室人员每天打开几十个网站，手工摘到 Word/Excel。

决策支持，而不是舆情或招商 CRM
服务对象是局领导、综合处、运行监测/流通/外贸处室。要的是「他市今天干了什么、数字能不能信、对本市有什么动作建议」，不是营销获客。
政务信息公开与行业监测
各地商务委日常发布消费促进、外贸外资、电商、会展、保供、以旧换新、试点示范等。信息是公开的，但散落在 30 多个门户、栏目改版频繁、口径不统一。
地方政府的横向对标
省会之间比社零、外贸、消费券、试点争取；重庆内部还要比区县活跃度。传统做法是处室人员每天打开几十个网站，手工摘到 Word/Excel
信息过载 → 压缩比
每天可能几百条动态，产品承诺是约 1500 字、3 分钟读完的日报（要闻、速览、同口径对比、可复制政策、对本市启示），而不是再做一个大而全的网站。

不可信 → 可呈报
政务材料不能「模型编数字」。抽取必须带原文证据回验；对比表由代码渲染，不让 LLM 填数；漏采、改版要暴露在附录里，不能静默。

不可比 → 同口径
指标别名归一、单位换算、统计期/增速类型分组后再排名，避免把当月同比和累计同比排在一张表。

发现晚 → 节奏

系统自动采集全国 31 个省会/直辖市及重庆区县商务委官网动态，AI 抽取指标与政策信号（带原文回验），每天生成可呈报的日报并推送到钉钉/企微/邮箱；网站提供对标、检索和线索查看。

主要功能

功能 做什么
自动采集
定时抓取商委工作动态、通知公告等，去重、限速，栏目异常告警
智能抽取
从正文抽出社零、外贸、资金、试点等；数字必须能在原文中对上
全国商委日报
要闻、城市速览、同口径数据对比、政策信号、对本市启示；约三分钟读完
消息推送
日报自动发到工作群/邮箱
网站看板
日报、速记卡、态势分析、省际对标、区县对比
政策与线索
政策信号、政策对标、招商线索、政策赛跑、试点追踪、全文检索
区县监测
重庆各区县商务委单独对比，不与全国 31 城混排
后台管理
登录后查看城市栏目健康、指标与归档
一句话描述:
给商务局领导做「全国同行在干什么」的每日情报：采得全、数可信、能对标、能推送

本人独立完成需求梳理、采集与抽取、日报生成、网站与区县监测、定时调度及服务器发布。

个人承担的具体任务

调研 31 城及重庆区县商务委栏目，编写站点配置（列表页、分页、JS 渲染）
实现采集：通用列表解析、正文清洗、URL/SimHash 去重、限速与 robots
实现 AI 抽取与证据回验，指标别名/单位/口径归一后再对比
实现日报：代码出数据表，模型只写要闻与启示；Markdown/Word 输出并推送
实现网站：日报、对标、区县、信号、线索、检索及后台
部署：本机流水线 + 服务器只读站点；每日日报任务、每小时增量采集
技术栈（落地版本）
语言:Python 3.10+
采集:httpx、parsel、trafilatura、Playwright（JS 站点）
存储:SQLite（单机可搬迁）
AI:智谱 GLM（抽取轻量、叙述旗舰），OpenAI 兼容接口
日报:Jinja2、python-docx
网站:FastAPI、Uvicorn、ECharts
调度:Windows 任务计划（每日 6:00、每小时增量）
发布:SSH 推库与模板，服务器 systemd + Nginx
架构:本机跑「采 → 抽 → 析 → 报 → 推」，网站只读渲染；采集与抽取经数据库解耦，可单独重跑。
实现亮点

信息压缩：数百条动态压成约 1500 字日报，3 分钟可读。
数字不交给模型编：对比表由代码渲染；抽取字段必须能在原文命中，否则丢弃。
配置驱动接入：多数站点只改 YAML，不改代码；JS 站按栏目开 Playwright。
同口径才排名：指标别名、单位、统计期/增速类型对齐后再比。
采与展分离：服务器不跑爬虫，降低暴露面；快照可回溯到原文。
核心难点不是「会爬」，而是 异构政务站稳定采集 + 数字可审计 + 能进领导办公流。