0
1
2
3
4
5
0
1
2
3
4
5
18小时前在线
高级爬虫工程师
上海全职 · 800/日 · 17400/月信用正常
工作时间: 工作日08:00-22:00、周末08:00-00:00工作地点:
远程
服务企业:
10家累计提交:
1工时
联系方式:
********
********
********
****************
查看联系方式
个人介绍
在公司担任爬虫工程师，在工作的六年内，爬取过瑞数全家桶（中国海关，药监局，国家电网，欧冶，紫金保险，中国联通，深圳大学，深圳房地产），加速乐和阿里系cookie破解，破解过极验验证码和易盾验证码，爬取过抖音，拼多多，企查查，淘宝，苏宁，京东，美团，饿了么，今日头条，腾讯，爱奇艺，qq音乐，酷狗，网易云音乐，前程无忧，智联招聘，吉祥航空等，还解决爬虫遇到的风控，能够解决反爬问题（如IP封禁（添加代理）等）。
1、熟悉大规模高性能抓取技巧，熟悉多线程，异步
2、掌握逆向分析技能（Js逆向破解/APP逆向破解）
3、熟悉各反反爬原理和解决方法
4、各网页/APP端复杂抓包技能 ；
5、熟悉scrapy、aiohttp、mysql、redis、MongoDB的开发和使用，能用set，布隆过滤器，MD5，哈希算法对数据去重；
6、能部署搭建gerapy和scrapyd进行爬虫监控管理；
7、熟悉Django，Flask等开发框架，能熟练的使用flask开发接口
如果我能帮上您的忙，请点击“立即预约”或“发布需求”！
工作经历
2023-03-27 -2024-02-29上海择仕信息科技有限公司高级爬虫工程师已认证
给公司客户破解网站请求的cookie(加速乐，阿里系)，极验和易盾的验证码，爬取阿迪达斯全网站的商品信，qq音乐下载等
2017-05-08 -2021-10-06思特奇信息技术股份有限公司爬虫工程师
给公司客户破解瑞数产品网站，包括瑞数4,5,6，网站包括国家电网，中国海关，药监局，中国联通，深圳大学等
教育经历
2012-09-01 - 2016-12-30河南科技大学畜牧兽医本科已认证
资质认证
技能
作品
帮客户破解极验平台的点选，滑动，无感验证码，还有易盾平台的滑动验证码 使用python获取到平台的验证码图片，然后使用图片识别网站识别滑块的距离，或者需要点选的文字，分析js代码并使用js代码加密请求的数据，再次使用python对网站发送请求，成功获取验证码通过之后获取到的数据，然后带着数据登录网站，能够登录成功
02024-04-01 19:51
破解雪球网站和马蜂窝网站的cookie 首先分析网站请求的信息，分析cookie的生成顺序，然后使用python代码对网站进行请求，获取到对应的js代码，在本地补环境并执行js代码，获取到对应的cookie再对网站进行请求，正确获取到网站的数据
02024-04-01 19:52
主要是给客户破解瑞数产品，包括瑞数4,5,6，相关网站有中国海关，国家电网，药监局，中国联通，深圳房地产，深圳大学等 首先抓包分析网站请求信息，使用python请求对应的地址获取到js代码，分析js代码，把js代码抠下来拿到本地node环境运行，使用补环境技术，让js代码在本地能够运行成功，最后获取到cookie，再次带上cookie对网站发请求，顺利获取到网站的信息
02024-04-01 19:54
