工业品现货商城数据采集系统产品系统

钢铁与工业品贸易企业需要及时掌握现货商城的挂牌价、仓库、库存和材质等行情数据，用于报价、采购和库存决策。目标站点采用动态 Cookie 防护，列表按页返回，人工逐页抄录成本高、时效性差，难以形成可持续的行情监控和数据分析。

系统按页码循环采集现货挂牌数据，解析挂牌价、仓库、库存量、材质、规格、供应商等字段，10 页合并后输出 JSON 与 CSV；内置挑战材料缓存和自动重试，Cookie 失效时自动重新获取；支持从缓存重放解析，便于接口调整后快速恢复；实测一次运行完成 100 条挂牌数据采集，字段完整、可直接导入表格分析。

我负责协议分析、防护适配与采集管线实现：定位分页接口与业务字段，使用 IV8 补环境执行挑战脚本，在同一会话内完成首跳、Cookie 计算和业务请求回放，失败时自动重试刷新；实现分页循环、数据合并、CSV 落盘与缓存重放脚本。技术栈为 Python、iv8、requests、JavaScript。难点是动态挑战的原子化处理、Cookie 生命周期管理，以及字段解析的容错与校验。