数据爬虫

项目架构：Spring Boot + MyBatis+ RabbitMQ + Redis

主要负责爬虫系统技术选型及以下功能模块的开发工作

使用Selenium操作Chrome进行数据爬取。
IP池构建；扩容缩容机制及IP去重功能，为数据爬虫提供高质量代理IP。
负责任务构建模块开发，生成任务推送MQ。负责任务上报模块及异常报警模块的开发。
搭建ELK日志收集平台，对异常信息及任务完成情况进行统计分析。