京东秒杀专区商品数据采集产品系统

电商 CPS 推广场景下，运营每天要盯「秒杀专区」的选品池变化：哪些商品在做秒杀、价格打到多少、店铺评分和好评量如何，以此判断值不值得投放到推广位。秒杀档位按小时轮换（0/6/8/10/12/14/16/18/20/22 点），人工逐页翻看效率低、容易漏，错过当前档位就失去参考价值。因此立项做自动化采集，把秒杀专区的商品结构化沉淀下来，为选品和投放决策提供稳定的数据基础。

项目实现秒杀专区商品数据的自动化采集与结构化输出，共四个模块：
1. 档位识别：按当前时间自动推断所在秒杀档位，也支持手动指定，避免采到空档位；
2. 签名生成：内置 h5st 签名服务，为每次请求实时生成 10 段签名参数，保证接口放行；
3. 分页采集：按页拉取商品列表（每页 50 条），支持指定页数，按商品编号去重；
4. 字段解析与输出：提取标题、价格、店铺、好评数四项核心字段，并附带佣金比例、30 天销量等辅助字段，以表格形式在控制台输出。
采集过程带请求间隔控制与失败重试，避免请求过密触发风控。

我负责全部环节：接口定位、h5st 签名逆向、Node 签名服务开发、Python 采集主程序编写与联调。
技术栈：Python（curl_cffi、requests）＋ Node.js（vm 补环境）＋ Playwright（仅供取证，不参与采集）。
架构分两层：Node 侧把官方签名脚本放进 vm，补齐 window/document/navigator/canvas/WebGL/XHR 等浏览器对象，调用其自身 ParamsSign 生成 h5st，以常驻进程加 JSON Lines 与 Python 通信；Python 侧负责组装业务参数、计算 body 哈希、拼接请求、解析响应并去重。
亮点：不硬编码签名算法，京东改版时只需替换 SDK 文件，采集代码零改动。
难点：① 签名脚本 234KB 全量混淆，全文搜不到 h5st 关键字，最终靠页面 JS 清单定位；② 站点对「签名错误」「未登录」「无头浏览器」三种情况都返回 403 空响应，用公开接口做对照才区分开；③ 请求过密会触发风控，连有头浏览器也会被一起拒绝，必须控制采集节奏。