data-spider开源项目

通用数据采集工具，基于Python开发，支持多目标网站并行抓取。内置代理池轮换机制、User-Agent随机化和Cookie自动管理，有效规避反爬策略。支持定时任务调度，可按时间间隔自动执行采集任务。集成日志记录与异常告警机制，保证采集任务稳定运行。支持Docker一键部署，开箱即用。