由于使用淘宝api获取的商品数据非常少，而且每天调用会有限制，所以就自己写爬虫爬取数据。1、由于要获取大量的淘宝数据，需要涉及到数据的去重，增量爬取，持久化，分布式。所以就选择用scrapy-redis框架爬取数据2、在中间件中构建user-agent池和ip代理池来防止淘宝的反爬策略3、考虑到爬取的过程中会出现爬取数据异常，设置了 异常判断、超时、retry机制4、使用logging日志系统监控出错的信息5、使用mongodb存储获取的数据6、在获取商品评论和通过搜索关键字获取商品数据的地方，会在中间件中设置selenium，通过结合selenium来获取数据7、爬取数据后，会对数据做分析和排名。比如不同分类下，商品的销量、评论量的排名。通过numpy、pandas对数据进行清洗，最后通过pyecharts可视化工具在后端展示查看全文
声明：本文仅代表作者观点，不代表本站立场。如果侵犯到您的合法权益，请联系我们删除侵权资源！如果遇到资源链接失效，请您通过评论或工单的方式通知管理员。未经允许，不得转载，本站所有资源文章禁止商业使用运营!
下载安装【程序员客栈】APP
实时对接需求、及时收发消息、丰富的开放项目需求、随时随地查看项目状态
评论