春暖花开8901
14小时前在线
全职 · 800/日  ·  17400/月
工作时间: 工作日08:00-22:00、周末08:00-00:00工作地点: 远程
服务企业: 9家累计提交: 1工时
联系方式:
********
********
********
聊一聊

使用APP扫码聊一聊

个人介绍

在公司担任爬虫工程师,在工作的六年内,爬取过瑞数全家桶(中国海关,药监局,国家电网,欧冶,紫金保险,中国联通,深圳大学,深圳房地产),加速乐和阿里系cookie破解,破解过极验验证码和易盾验证码,爬取过抖音,拼多多,企查查,淘宝,苏宁,京东,美团,饿了么,今日头条,腾讯,爱奇艺,qq音乐,酷狗,网易云音乐,前程无忧,智联招聘,吉祥航空等,还解决爬虫遇到的风控,能够解决反爬问题(如IP封禁(添加代理)等)。

1、熟悉大规模高性能抓取技巧,熟悉多线程,异步

2、掌握逆向分析技能(Js逆向破解/APP逆向破解)

3、熟悉各反反爬原理和解决方法

4、各网页/APP端复杂抓包技能 ;

5、熟悉scrapy、aiohttp、mysql、redis、MongoDB的开发和使用,能用set,布隆过滤器,MD5,哈希算法对数据去重;

6、能部署搭建gerapy和scrapyd进行爬虫监控管理;

7、熟悉Django,Flask等开发框架,能熟练的使用flask开发接口

如果我能帮上您的忙,请点击“立即预约”或“发布需求”!

工作经历

  • 2023-03-27 -2024-02-29上海择仕信息科技有限公司高级爬虫工程师已认证

    给公司客户破解网站请求的cookie(加速乐,阿里系),极验和易盾的验证码,爬取阿迪达斯全网站的商品信,qq音乐下载等

  • 2017-05-08 -2021-10-06思特奇信息技术股份有限公司爬虫工程师

    给公司客户破解瑞数产品网站,包括瑞数4,5,6,网站包括国家电网,中国海关,药监局,中国联通,深圳大学等

教育经历

  • 2012-09-01 - 2016-12-30河南科技大学畜牧兽医本科已认证

资质认证

技能

Docker
Django
加密解密
Vue
webpack
爬虫
0
1
2
3
4
5
0
1
2
3
4
5
作品
给客户采集知网报纸数据80万条

帮客户在知网上采集31个省的日报内容,从2010年至2023年的每天的日报内容,供客户科研使用 使用python+request查询出每个省的所有日报地址,然后再遍历这些地址,再次请求这些地址,获取到所有的网页内容,期间遇到滑块验证码,使用python+js破解滑块,继续采集数据

0
2024-04-18 11:25
给客户破解极验和易盾验证码

帮客户破解极验平台的点选,滑动,无感验证码,还有易盾平台的滑动验证码 使用python获取到平台的验证码图片,然后使用图片识别网站识别滑块的距离,或者需要点选的文字,分析js代码并使用js代码加密请求的数据,再次使用python对网站发送请求,成功获取验证码通过之后获取到的数据,然后带着数据登录网站,能够登录成功

0
2024-04-01 19:51
给客户破解网站的cookie(加速乐,阿里系cookie)

破解雪球网站和马蜂窝网站的cookie 首先分析网站请求的信息,分析cookie的生成顺序,然后使用python代码对网站进行请求,获取到对应的js代码,在本地补环境并执行js代码,获取到对应的cookie再对网站进行请求,正确获取到网站的数据

0
2024-04-01 19:52
更新于: 04-01 浏览: 734