京东联盟秒杀专区数据采集系统 — 逆向还原H5ST签名与反爬对抗

技术信息

语言技术
Python、JavaScript系统类型
Web行业分类
电商

作品详情

行业场景

针对京东联盟秒杀专区（union.jd.com）进行深度逆向分析，还原其H5ST签名算法（v5.3）及多层反爬机制，实现稳定高效的商品数据采集。系统可自动抓取秒杀商品的价格、佣金比例、店铺信息、好评数据等核心字段，输出结构化数据用于竞品监控与选品分析。项目完整攻克了京东最新的设备指纹（jdd03）、动态签名、Cookie安全Token等防护体系，采集成功率>95%。

功能介绍

1、H5ST签名逆向还原：通过AST静态分析+动态调试，完整还原window.ParamsSign核心类，实现signSync、_$ram、_$clt、_$sdnmd等关键方法的本地复现，支持10字段签名自动生成。

2、多层反爬对抗：集成设备指纹（x-api-eid-token/jdd03）、会话ID（uuid）、安全Token（sdtoken）、设备标识（shshshfpa/3AB9D23F7A4B3CSS）的识别与自动更新机制。

3、多方案采集引擎：提供Node.js+jsdom本地签名生成（推荐）、浏览器自动化（Playwright备用）、新鲜cURL即时调用三种采集模式，适应不同场景需求。

4、数据结构化输出：采集结果自动导出CSV/JSON双格式，包含商品名称、价格、佣金比例、店铺、好评数等完整字段。

5、批量分页采集：支持按页码+每页数量参数化调用，单次可采集60-250条商品数据。

6、本地一键运行：提供完整依赖安装脚本与使用文档，Node.js环境即可本地部署运行。

项目实现

我独立完成全部逆向分析与系统开发。技术栈：Python + Node.js + jsdom + Playwright。

核心难点攻克：
1、JS混淆代码还原：针对京东安全JS（js_security_v3_0.1.5.js，240KB）进行AST解混淆，定位window.ParamsSign签名类，提取tk_token获取、环境信息采集、签名流程执行的完整逻辑。

2、动态签名本地化：将原本依赖浏览器环境的签名生成流程，通过jsdom模拟DOM/BOM对象，实现纯Node.js环境下的H5ST签名计算，摆脱浏览器依赖，提升执行效率10倍+。

3、反爬策略体系化：建立Cookie有效期监控、h5st时效性自动刷新、Token服务器通信的完整链路，确保采集长期稳定运行。

4、交付完整性：提供逆向脚本（参数解析、JS下载、签名测试）、浏览器方案（DOM解析+翻页）、数据文件（CSV/JSON双格式）三类交付物，满足不同客户需求。

项目成果：成功采集250条秒杀商品数据，覆盖伊利、蒙牛、帮宝适、洁柔等头部品牌，数据准确率100%。