该项目的特点是，爬取网站单一但数据量要求大，甲方要求我爬取一个主题下全部历史的微博评论数据，因此和多社交媒体标准数据量爬虫不同，这个项目的主要精力放在了高效率爬虫方面，主要解决的问题有：
控制访问频率，
使用ip代理池应对反爬虫措施
解决的难点问题包括：
requests模拟登录
分布式爬虫提高效率
点击空白处退出提示
微博数据大规模爬取
我要开发同款技术信息
演示地址
https://github.com/bunengzhucefeng/weibo_crawler
功能介绍
示例图片
声明：本文仅代表作者观点，不代表本站立场。如果侵犯到您的合法权益，请联系我们删除侵权资源！如果遇到资源链接失效，请您通过评论或工单的方式通知管理员。未经允许，不得转载，本站所有资源文章禁止商业使用运营!
评论