为企业客户构建多源数据采集平台，需在DataDome、Cloudflare、Akamai BMP、Imperva等主流反Bot平台的高强度检测环境下实现稳定数据采集。行业背景是电商、金融和数据服务领域对实时数据的需求持续增长，但目标网站普遍部署了多层防护——从TLS指纹检测、JavaScript Challenge到行为分析和设备指纹。传统爬虫工具在面对这些防护时频繁失效，需要专业的反检测技术方案。本项目通过逆向分析各平台的检测机制，构建了一套轻量级优先、多策略自动降级的采集引擎，配合代理池管理和会话池维护，实现长期稳定的数据采集。
1、多引擎架构：HTTP层（curl_cffi TLS指纹伪装，JA3/JA4匹配）+ CDP浏览器控制（stealth-patched Chromium）+ 系统级输入模拟（SendInput原生事件），三级策略自动降级，60-70%场景在HTTP层即可解决。
2、DataDome对抗：逆向其device-check流程，生成35+行为信号（贝塞尔曲线鼠标轨迹、滚动节奏、击键时序），配合一致性Canvas/WebGL指纹。已适配多个客户站点的定制ML模型。
3、Akamai BMP v3 Sensor生成：还原PRNG种子推导和字符替换表，生成有效sensor payload，无需启动浏览器即可通过验证。
4、Cloudflare Turnstile绕过：UC Mode + Nodriver方案，2-5秒自然dwell time，温浏览器会话池保持token新鲜度。兼容eBPF TCP栈指纹检测。
5、分布式代理池：住宅IP地理一致性轮换、IP质量评分、自动黑名单。
6、数据管线：采集→清洗→DuckDB存储→FastAPI查询接口，成功率实时监控和异常自动策略切换。
独立完成全部架构设计与核心开发。技术栈：Python（Playwright/SeleniumBase/curl_cffi/FastAPI）、DuckDB（数据存储）、AsyncIO（并发调度）。
最大技术挑战是DataDome的客户定制ML模型——每个目标站的行为检测阈值不同，需要针对性调优鼠标轨迹参数和交互节奏。Akamai BMP v3的sensor数据生成最复杂，涉及PRNG逆向和冒号分隔字符串的shuffle+替换算法还原。
架构亮点：轻量级优先原则（HTTP→浏览器→系统级输入三级降级），单机支持200+并发任务。采用Python异步架构，每个采集任务独立管理Cookie链、代理和指纹状态。系统在多个客户项目中持续运行，日均处理万级请求量。
评论