1
本项目的目标：把一个「网页能打开、代码抓不到」的数据源稳定打通。主要模块：
1. 放行条件定位：对目标接口做请求头逐项消融实验，定位真正决定放行/拦截的请求头组合。
2. 入口枚举：当主域不可用时，从官方客户端源码中枚举出全部可用入口节点，并做防钓鱼校验（证书签发者、页面结构一致性）。
3. 真实接口还原：从前端 JS 产物中定位实际调用的接口路径与参数，输出可运行的端点清单。
4. 采集与输出：定时采集 + 清洗去重 + 落库，输出可直接使用的 CSV/Excel。
使用者拿到的是「能直接打开的数据表」，而不是一堆跑不起来的代码。
【40%】我负责的任务与技术栈
由我独立完成：请求头消融实验设计与执行、前端源码分析与端点还原、采集脚本与调度、数据清洗与出表。
技术栈：Python（requests/异步采集）、HTTP 协议分析、前端 JS 逆向、DuckDB/CSV 输出。
成果：目标接口从「全部 403」变为「稳定 200」，采集成本从「无头浏览器 + 代理池」降到「三行 curl」，采集可稳定定时运行。
【难点】
最初无法区分 403 的原因（IP？TLS 指纹？反爬？），尝试更换出口 IP、更换无头浏览器均无效。通过逐项累加的请求头消融实验，最终定位到是 3 个 Fetch Metadata 请求头缺失导致——属于「最贵的方案和最便宜的方案完全等价」的典型场景，避免了不必要的复杂架构。
60%】项目功能模块
本项目的目标：把一个「网页能打开、代码抓不到」的数据源稳定打通。主要模块：
1. 放行条件定位：对目标接口做请求头逐项消融实验，定位真正决定放行/拦截的请求头组合。
2. 入口枚举：当主域不可用时，从官方客户端源码中枚举出全部可用入口节点，并做防钓鱼校验（证书签发者、页面结构一致性）。
3. 真实接口还原：从前端 JS 产物中定位实际调用的接口路径与参数，输出可运行的端点清单。
4. 采集与输出：定时采集 + 清洗去重 + 落库，输出可直接使用的 CSV/Excel。
使用者拿到的是「能直接打开的数据表」，而不是一堆跑不起来的代码。
【40%】我负责的任务与技术栈
由我独立完成：请求头消融实验设计与执行、前端源码分析与端点还原、采集脚本与调度、数据清洗与出表。
技术栈：Python（requests/异步采集）、HTTP 协议分析、前端 JS 逆向、DuckDB/CSV 输出。
成果：目标接口从「全部 403」变为「稳定 200」，采集成本从「无头浏览器 + 代理池」降到「三行 curl」，采集可稳定定时运行。
【难点】
最初无法区分 403 的原因（IP？TLS 指纹？反爬？），尝试更换出口 IP、更换无头浏览器均无效。通过逐项累加的请求头消融实验，最终定位到是 3 个 Fetch Metadata 请求头缺失导致——属于「最贵的方案和最便宜的方案完全等价」的典型场景，避免了不必要的复杂架构。
评论