全国批量数据快照 · 可复用采集管线产品系统

行业场景：立项原因：全国批量价格快照类订单反复遇到同一批工程问题——任务量大、易中断、失败重跑、口径不统一，逐一重写成本高，于是把批量快照采集沉淀为组件化管线，一次开发长期复用。行业场景。
业务背景：能源/电商/社交等垂直领域的价格监控与市场分析普遍需要"全国批量快照"式采集，本管线以任务清单驱动、并发控制、断点续传、失败重试、下线识别、口径文档内置为核心，已用真实 6 万+ 任务验证，可快速复用于同类订单。

功能介绍：具体功能模块：任务清单驱动（换站库/油品/档位只改配置）、多并发执行、断点续传、失败重试、下线自动剔除、模板逐列对齐、数据口径说明内置。
主要功能描述：将批量数据快照采集做成组件化管线，输出即交付——按客户模板对齐生成 CSV 并附口径文档，大批量订单稳定收尾，验收零返工。

项目实现：我负责的任务：管线整体设计、采集引擎、并发与状态管理、口径算法、模板对齐输出及文档。技术栈：Python、多线程并发、组件化架构。
亮点难点：把易烂尾的批量采集（任务量大、断点续跑、失败重试、下线剔除）收敛为可配置管线；已用真实 6 万+ 核价任务验证，0 网络失败，约 15 万行交付。