这个项目是通过scrapy-redis搭建分布式数据挖掘架构。我的职责● 多台服务器部署scrapyd、logparser,使用scrapydweb做可视化管理工具。● 开发增量采集算法模型,redis记录账号最近发文时间。● scrapy pipelines配置Twisted adbapi异步存储MYSQL数据库。
评论