某集APP数据爬取

我要开发同款
D华华2024年03月29日
239阅读

作品详情

根据公司需求和业务的扩展,需要对手机APP云集的所有商品信息进行采集,包括父类模块分类,子类模块分类,商品id,名称,售价,原价,品牌,相关参数,主图,详情图等信息进行了采集,并将图片上传到阿里云的OSS储存器中。 1.抓取手机app,必须借助于抓包工具,所以对fiddler抓包工具进行了相关配置,并对手机进行设置和安全证书的下载安装; 2.对云集app进行抓包,根据分析得到相关的json数据。因为此app的商品信息和商品的详情图参数不在一个链接中,所以需要对一个商品进行两次解析,才能获取到全部所需信息; 3.使用scrapy框架对相关的信息进行爬取并将数据保存在数据库,使用requests和urllib对商品的相关图片进行下载,并上传到阿里云的OSS储存器中; 4.对代码进行维护和对数据、图片进行二次清洗和更改。
查看全文
声明:本文仅代表作者观点,不代表本站立场。如果侵犯到您的合法权益,请联系我们删除侵权资源!如果遇到资源链接失效,请您通过评论或工单的方式通知管理员。未经允许,不得转载,本站所有资源文章禁止商业使用运营!
下载安装【程序员客栈】APP
实时对接需求、及时收发消息、丰富的开放项目需求、随时随地查看项目状态

评论