分布式爬虫框架产品系统

随着服装零售市场竞争的日益激烈以及消费者决策趋于理性，品牌定位、价格策略与市场份额之间的关系发生了深刻变化。为了在复杂的市场环境中保持竞争优势，公司亟需对服装行业内各大主流品牌的价格数据进行系统性采集与深度分析。

本项目的核心目的，是通过全面掌握竞品及行业标杆的价格体系，为公司的产品定价、品牌定位、产品矩阵规划以及营销策略提供强有力的数据支撑。

爬取主流电商平台商品信息（图片、价格、详情等）
智能验证码识别与绕过（滑块、点选、图片识别）
模拟人类行为获取动态加载内容
代理池管理与智能切换，降低封禁风险
多容器并行处理，提升采集效率

使用 Playwright 模拟真实浏览器行为
实现智能代理池管理，自动检测与剔除失效代理
使用 Redis 实现分布式任务队列与去重
Docker 容器化部署，支持横向扩展
异常处理与自动重试机制，保障采集稳定性