光年金融数据采集系统产品系统

面向金融领域的公司编辑团队，提供7x24小时全链路舆情监控。日均百万级采集1万+信源，为编辑精准提取最细腻、结构化的文章级素材，赋能深度财经内容创作与高效选题。

本项目是面向金融/政务垂类的内容实时监控系统，覆盖调度 → 采集 → 渲染 → 入库全链路，7×24 稳定运行 6 年，监控信息源 1万+ 个、日均采集请求百万次。

1. 系统架构采用调度与采集分离部署的两层架构：调度端负责数据源监控、任务编排与队列分发，采集端负责实际爬取与解析，Redis 作为两者共享的通信中枢；调度与采集解耦后，采集端可按负载水平扩展，调度端无需随节点数增加而重构。
2. 调度层选用 Flask + APScheduler：以线程池并发跑多个调度任务，任务状态存入 Redis 作业存储实现调度断点续跑；数据源变更通过 Flask 接口热更新，无需重启进程；并叠加队列深度巡检（10s 一轮）与节点心跳超时告警（20min 警戒）双路告警。
3. 采集层选用 Scrapy + scrapy-redis ：scrapy-redis 原生提供分布式调度与 URL 去重能力。
4. 采集逻辑采用 exec() 动态执行而非为每站点编写 Spider 类：站点适配规则存入数据库，新增或修改采集逻辑无需发版重启，运维成本大幅降低。
5. 搭建网页渲染服务，使用Playwright + Fastapi 提供渲染服务接口，增加自动切换代理IP功能。