电商大促商品数据采集与监控系统产品系统

电商运营与选品团队在大促期间需要持续跟踪秒杀专区的商品价格、店铺和评价数据，用于选品、定价和竞品分析。目标平台对接口设置了传输层、设备环境、行为参数等多层校验，普通采集脚本难以稳定运行；人工逐页翻取效率低，且容易漏掉不同秒杀时段的数据。

系统按秒杀时段和分页批量采集商品标题、价格、店铺、好评数等字段，支持多时段补采、失败重试、随机延迟与限流退避；采集结果同时输出 CSV 和 JSON，CSV 采用 UTF-8 BOM 编码，可直接用 Excel 打开；每页原始响应单独留存，便于核对与复查；实测完成 3 页共 150 条商品数据，并可通过修改时段参数扩展到其他场次。

我独立完成协议分析、参数还原与脚本工程化：定位列表接口与分页字段，适配 TLS 指纹和 HTTP/2 传输校验；还原设备注册、传感器 Cookie 与十段动态签名，其中动态 token 段由服务端下发的算法函数计算；使用 iv8 运行端上 JavaScript，并替换 XMLHttpRequest，把两个内部请求同步桥接到 Python 侧真实发送；加入验证码挑战重试和 30-60 秒随机退避。技术栈为 Python、curl_cffi、iv8、requests、JavaScript。难点是四层校验的时序配合与签名一致性。