Sketch

本项目包含分布式任务调度、动态页面渲染、反爬对抗、数据清洗与存储、监控告警五大模块。可实现百万级任务并发调度，高效采集动态页面，通过代理池与逆向技术提升通过率，并对数据进行全链路校验，同时提供可视化监控告警。