1、分析网页数据，考虑到数据量较多，采用scrapy-redis搭建分布式爬取数据，此框架搭建分布式比较方便且爬取更快，而且也实现了数据去重、增量处理2、初次使用静态cookie进行数据爬取，后因静态cookie的时效性，采用了重写spider中的start_requests方法，并使用selenium、PhantomJS无界面模拟登录获取动态cookie信息3、使用BeautifulSoup模块处理数据，用css选择器对数据进行抽取，解析4、构建User-Agent池，开启Middleware中间件使用UA伪装浏览器5、考虑到单个用户爬取频率过高，采用注册多个用户同时进行爬取查看全文
声明：本文仅代表作者观点，不代表本站立场。如果侵犯到您的合法权益，请联系我们删除侵权资源！如果遇到资源链接失效，请您通过评论或工单的方式通知管理员。未经允许，不得转载，本站所有资源文章禁止商业使用运营!
下载安装【程序员客栈】APP
实时对接需求、及时收发消息、丰富的开放项目需求、随时随地查看项目状态
评论