金融数据采集管道 + 任务调度平台产品系统Vibe Coding

一套 A股/美股/港股 三市场基本面数据自动采集管道 + 自研任务调度平台，实现数据从采集 → 入库 → 变更通知 → 可视化看板的自动化闭环。

项目概述
由两个独立子系统构成：
A. collector（基本面数据采集服务，Python）
覆盖三市场上市公司列表、财务报表、行业分类、中美宏观、国家政策的多源数据管道：

数据源 覆盖
AKShare（东方财富/申万/乐咕） A股列表、财务、申万行业、宏观
SEC EDGAR（companyfacts） 美股列表 + 多期财务历史
FRED 美国宏观指标
HKEX 官方 港股列表
国家官网 国务院/发改委/央行/证监会政策
技术栈：Python / FastAPI / SQLAlchemy / PostgreSQL / pandas / APScheduler / tenacity

核心能力：

幂等入库（ON CONFLICT DO UPDATE，version 自增）
变更检测：未变化记录跳过 upsert，避免噪音
统一限速 + 重试 + 降级层，单源失败不拖垮其他
美股 EDGAR 一次返回多年，首拉即全量历史
SSE 流式执行 API + WS/TCP 变更通知（端口 15600/15601/15610）
B. scheduler（采集调度平台，Bun + Hono + Prisma）
调度器不直接采集，而是由 provider（如 collector）主动心跳注册任务，实现调度与执行的解耦。

技术栈：Bun / Hono / Prisma / ws / React 19 + Vite

核心能力：

自研 6 段 cron 解析/匹配（纯逻辑可单测）
实时日志不写 DB（内存缓冲 60s），经 WebSocket 回放 + 实时追加
失败自动重试（retry_enabled / retry_max / retry_delay_sec）
并发控制：同一任务同时只允许一个实例
离线检测：provider 心跳超时自动判离线
前端看板：数据看板 / 任务列

项目概述
由两个独立子系统构成：

A. collector（基本面数据采集服务，Python）
覆盖三市场上市公司列表、财务报表、行业分类、中美宏观、国家政策的多源数据管道：

数据源 覆盖
AKShare（东方财富/申万/乐咕） A股列表、财务、申万行业、宏观
SEC EDGAR（companyfacts） 美股列表 + 多期财务历史
FRED 美国宏观指标
HKEX 官方 港股列表
国家官网 国务院/发改委/央行/证监会政策
技术栈：Python / FastAPI / SQLAlchemy / PostgreSQL / pandas / APScheduler / tenacity

核心能力：

幂等入库（ON CONFLICT DO UPDATE，version 自增）
变更检测：未变化记录跳过 upsert，避免噪音
统一限速 + 重试 + 降级层，单源失败不拖垮其他
美股 EDGAR 一次返回多年，首拉即全量历史
SSE 流式执行 API + WS/TCP 变更通知（端口 15600/15601/15610）
B. scheduler（采集调度平台，Bun + Hono + Prisma）
调度器不直接采集，而是由 provider（如 collector）主动心跳注册任务，实现调度与执行的解耦。

技术栈：Bun / Hono / Prisma / ws / React 19 + Vite

核心能力：

自研 6 段 cron 解析/匹配（纯逻辑可单测）
实时日志不写 DB（内存缓冲 60s），经 WebSocket 回放 + 实时追加
失败自动重试（retry_enabled / retry_max / retry_delay_sec）
并发控制：同一任务同时只允许一个实例
离线检测：provider 心跳超时自动判离线
前端看板：数据看板 / 任务列