本人于2018-2020就职于久远谦长(北京)技术服务有限公司担任开发工程师一职,负责python爬虫的编写
1.精通scrapy、selenium、appium,pyspider、libcurl等框架
2.精通wireshark,fiddler工具,熟悉常见网络协议
3.熟练掌握xpath、dom解析、beautifulsoup、正则表达式等提取技术
4.掌握绕过反爬虫技术
5.熟悉并发式爬虫机制,了解pyspark处理框架
6.熟悉安卓app脱壳、逆向及数据解密
7.精通mongodb数据清洗
2018-03-01 -2020-11-01久远谦长爬虫工程师
本人于2018-2020就职于久远谦长(北京)技术服务有限公司担任开发工程师一职,负责python爬虫的编写
1.精通scrapy、selenium、appium,pyspider、libcurl等框架
2.精通wireshark,fiddler工具,熟悉常见网络协议
3.熟练掌握xpath、dom解析、beautifulsoup、正则表达式等提取技术
4.掌握绕过反爬虫技术
5.熟悉并发式爬虫机制,了解pyspark处理框架
6.熟悉安卓app脱壳、逆向及数据解密
7.精通mongodb数据清洗

爱奇艺,搜狐视频,腾讯视频数据爬取工作,包括视频频道,视频信息,视频标签,视频播放量等信息,特别包括广告投放,广告商品详情等信息
02023-03-01 21:50

京东,淘宝,拼多多,美团,苏宁,唯品会等电商数据爬取工作,包括商品类别,商品价格,商品销量,商品评论数,商品好评数等数据的爬取工作
02023-03-01 21:51

抖音,快手,斗鱼,花椒,壹直播,小红书等热门直播平台的数据爬虫,包括热门短视频,视频播放量,粉丝数,礼物数,主播简介等信息的爬取工作,并对爬取到的数据做清洗转化处理
02023-03-01 21:52