奢饰品网站数据抓取

我要开发同款
一千零一2023年02月21日
87阅读
所属分类mysqlredisSpringCloud爬虫

作品详情

本人负责公司多个奢饰品官网,APP,新闻资讯类(人民网,新浪,腾讯新闻),电商类(当当,唯品会,京东等)的爬虫,包括前期和业务人员需求对接,项目进度排期,以及每个官网爬虫的网页结构分析,技术选用,代码开发,测试,上线,后期维护等。在此期间能够保质保量的完成爬取任务,保证了公司相应商品及时上架。用到的模块包括:request,scrapy,scrapy-redis,mysql,redis,pymysql,configparser,logging,xpath,bs4,正则表达式,selenium等。遇到的反扒策略有:IP限制,加密参数,JS逆向,登录验证码,浏览器常见属性的检测,APP端加壳逆向处理等。
查看全文
声明:本文仅代表作者观点,不代表本站立场。如果侵犯到您的合法权益,请联系我们删除侵权资源!如果遇到资源链接失效,请您通过评论或工单的方式通知管理员。未经允许,不得转载,本站所有资源文章禁止商业使用运营!
下载安装【程序员客栈】APP
实时对接需求、及时收发消息、丰富的开放项目需求、随时随地查看项目状态

评论