自动化爬虫与数据同步工具产品系统

客户需要从大量网站稳定采集公开数据，人工复制效率低且容易遗漏。该工具支持批量配置目标站点、定时调度、并发采集与失败重试，自动解析标题、正文和附件，并把结构化数据写入接口和文件服务器，适用于资讯监测、价格跟踪等场景。

工具包含站点配置、任务调度、并发采集、数据解析、字段映射、失败重试、日志监控和数据导出等模块。支持按站点模板抓取列表与详情页，解析 PDF 等附件，批量写入元数据接口并保存文件，异常任务自动重试并记录日志，方便排查。

我负责采集调度与解析模块开发，使用 Python、Flask、Redis 与 MySQL 实现，采用任务队列控制并发与限速，失败按指数退避重试，解析结果统一映射后批量入库，保证采集过程稳定、可追踪。