潮流电商数据采集与逆向分析系统产品系统

某物潮流电商平台拥有数千万日活用户，涵盖潮鞋、潮服、手办等核心品类，商品成交数据、用户评价与实时付款人数具有极高商业价值。然而该平台未开放官方数据接口，App通信协议经过加密处理，传统爬虫手段无法直接采集。本项目通过协议逆向工程还原加密通信链路，实现零鉴权、批量化的商品数据采集能力，构建完整的潮流电商数据基础设施，为市场分析、竞品监控与商业决策提供数据支撑

协议逆向模块：通过Charles/mitmproxy抓包分析，定位请求签名算法（RSA/HMAC），还原设备指纹与时间戳生成逻辑，用Python重新实现签名算法，构造合法请求参数。

商品数据采集模块：批量调用商品详情API，采集商品名、价格、折扣、销量、付款人数、收藏数、SKU规格等基础数据，支持1100+商品规模。

评价与成交数据模块：对每个商品翻页采集用户评价（用户名、评分、评论内容、购买规格），并采集实时成交记录与最近购买列表。

图片代理服务：实现Flask图片代理中间件，绕过得物CDN防盗链Referer限制，零磁盘占用的内存直传方案。

前端可视化展示：纯HTML+Vanilla JS实现商品瀑布流展示、多维筛选排序、详情抽屉（含子图/评价/成交/购买记录），集成Chart.js图表可视化。

本项目采用"抓包分析→协议逆向→数据采集→结构化存储→前端展示"五层架构：

第一阶段：流量捕获与协议分析
使用Charles对某潮流电商App进行HTTPS抓包，识别出请求中包含sign签名参数、timestamp时间戳、device_id设备标识等动态字段。App使用HTTPS+SSL Proxy，需安装CA证书并启用SSL Proxy才能解密流量。

第二阶段：加密算法还原
通过多组请求对比分析，定位sign参数由RSA-SHA256签名生成，签名内容为URL参数按字典序拼接后计算。设备标识符通过设备UUID+MD5哈希生成，时间戳为13位毫秒级Unix时间戳。将上述算法用Python重新实现，构造可复用的签名请求函数。

第三阶段：数据采集与结构化
分五步采集数据：①遍历分类页提取商品ID列表（1100+）；②批量调用商品详情API提取基础字段；③翻页采集每个商品的用户评价列表；④调用成交记录API采集实时成交数据；⑤采集最近购买记录。所有数据以JavaScript变量形式存储在独立.js文件中，支持热更新。

第四阶段：图片代理与前端展示
部署Flask图片代理服务，将得物CDN图片URL转换为本地/img端点请求，携带正确Referer头绕过防盗链。前端HTML页面加载后自动请求代理端点，图片数据由服务端内存直传给客户端，零磁盘缓存占用。

技术栈：Python（requests/asyncio）+ JavaScript（ES6）+ Flask + HTML5/CSS3 + Chart.js