在公司担任爬虫工程师，在工作的六年内，爬取过瑞数全家桶（中国海关，药监局，国家电网，欧冶，紫金保险，中国联通，深圳大学，深圳房地产），加速乐和阿里系cookie破解，破解过极验验证码和易盾验证码，爬取过抖音，拼多多，企查查，淘宝，苏宁，京东，美团，饿了么，今日头条，腾讯，爱奇艺，qq音乐，酷狗，网易云音乐，前程无忧，智联招聘，吉祥航空等，还解决爬虫遇到的风控，能够解决反爬问题（如IP封禁（添加代理）等）。

1、熟悉大规模高性能抓取技巧，熟悉多线程，异步

2、掌握逆向分析技能（Js逆向破解/APP逆向破解）

3、熟悉各反反爬原理和解决方法

4、各网页/APP端复杂抓包技能 ；

5、熟悉scrapy、aiohttp、mysql、redis、MongoDB的开发和使用，能用set，布隆过滤器，MD5，哈希算法对数据去重；

6、能部署搭建gerapy和scrapyd进行爬虫监控管理；

7、熟悉Django，Flask等开发框架，能熟练的使用flask开发接口

如果我能帮上您的忙，请点击“立即预约”或“发布需求”！