1. 数据的采集: scrapy_redis框架对主流门户网站进行数据采集
2. 数据反爬处理: 对个别门户网站的数据采集做一下逆向处理
3. 通用式采集: 对门户网站的数据进行融合,集成在scrapy框架里处理
4. 数据存储: 采用redis缓存+mysql长期存储
5. 服务端部署: 服务器采用Ubuntu22版本。docker容器,来进行主从模式的分布式数据采集。用到分布式爬虫管理框架Gerapy,便于程序的部署和管理。对一些特定的数据采集模块进行定时任务。
6. python端数据处理: 主要处理逻辑, 数据过滤。单机数据采集调试, 数据库之间的交互