全国批量数据快照 · 可复用采集管线产品系统

立项原因：全国批量价格快照类订单反复遇到同一批工程问题——任务量大、易中断、失败重跑、口径不统一，逐一重写成本高，于是把批量快照采集沉淀为组件化管线，一次开发长期复用。

行业场景、业务背景：能源/电商/社交等垂直领域的价格监控与市场分析普遍需要"全国批量快照"式采集。本管线以任务清单驱动、并发控制、断点续传、失败重试、下线识别、口径文档内置为核心，已用真实 6 万+ 任务验证，可快速复用于同类订单。

一、具体功能模块：①任务清单驱动——换站库/油品/档位只改配置，不改代码，降低二次交付成本；②多并发执行——大批量任务高效跑批；③断点续传——中断后自动续跑，任务状态可回溯；④失败重试与下线识别——异常自动重试，已下线目标自动剔除，稳定收尾；⑤模板对齐输出——按客户模板逐列对齐生成 CSV，附数据口径说明文档，验收零返工。

二、主要功能描述：将批量数据快照采集做成组件化管线，输出即交付——任务清单驱动、并发控制、断点续传、失败重试、下线识别、口径文档内置，已用真实 6 万+ 任务验证，可快速复用于能源、电商、社交等领域的全国批量快照、周期性数据监控及登录态核价类采集订单。

一、我负责的任务：管线整体设计、采集引擎开发、并发与状态管理、断点续传与失败重试机制、下线识别逻辑、口径算法、模板对齐输出及数据口径文档编写，并用真实大批量任务完成验证。

二、技术栈与架构：Python；组件化管线架构：任务清单（配置）→ 采集引擎（多并发 / 重试 / 断点续传 / 下线识别）→ 数据整理（口径计算）→ 模板对齐输出（CSV + 口径文档）。

实现亮点与难点：①难点在于把易烂尾的批量采集工程问题（任务量大、中断续跑、失败重跑、口径不统一）收敛为可配置管线；②通过任务清单驱动实现换站库、换油品、换档位仅改配置不改代码，大幅降低二次交付成本；③管线已在真实项目落地：全量约 6 万核价任务 0 网络失败，交付约 15 万行，字段与客户模板逐列对齐并通过样张验证，验收零返工。