通用网络数据采集工具产品系统

企业在经营分析、价格监控、市场研究中需要批量获取公开数据（行情、商品、舆情、招聘信息等），人工复制粘贴效率低且易出错，且目标站点常有反爬限制。本工具以配置驱动方式统一解决多数据源的批量采集、清洗与结构化落库问题。

1、两种采集模式：JSON接口采集与文本协议采集，字段映射可配置；2、自动分页与批量请求合并，降低请求频次；3、四重健壮性保障：指数退避重试、随机反爬延时、连续失败熔断、断点续采；4、数据自动清洗：无效代码、停牌标的、异常值自动剔除；5、多格式导出：Excel专业样式（涨红跌绿、冻结窗格、色阶、列宽自适应）、CSV、JSON，原始快照同步落盘。

我独立完成需求分析、架构设计与开发。核心为Fetcher（会话复用+重试+延时）与Parser（多协议解析）解耦设计，采集任务以JSON配置描述，新增数据源零代码改动。实测采集1097个股票标的行情，批量请求43次，有效数据677条，清洗掉420个无效/停牌代码，全流程2分钟内完成。