定制化爬虫产品系统

解决通用爬虫适配性差、反爬应对不足的问题，满足用户对特定网站数据的个性化采集需求。
面向市场分析、竞品调研等数据驱动场景，提供精准、高效的定制化数据采集能力

功能模块有订单信息定向采集模块、
多维度数据清洗去重模块、
自定义关键词组合筛选模块、
订单类型智能分类模块、
订单更新实时监测模块、
历史订单数据统计分析模块。

负责需求拆解、技术选型、爬虫开发、测试部署全流程。
技术栈采用 Python（Scrapy+Selenium）+Redis，分布式架构，亮点是灵活反爬适配，难点是合规高效采集，通过动态请求调度、行为模拟解决。