爬虫工程师
长春0
1
2
3
4
5
1天前在线
个人介绍
有8年爬虫大规模工作经验，目前离职状态可随时接单。会Python爬虫各个方面技能，会中等难度的网站js加密破解，包括部分手机逆向，熟悉主流网站的反爬并绕过。会Python自动化开发，1.熟练掌握Python语言，熟悉常用的开源库；2.熟悉Linux操作系统及常用命令；3.熟悉linux 网络编程，HTTP/HTTPS协议，TCP/IP网络协议；4.熟悉HTML、CSS、Javascript、jQuery以及AJAX等前端技术；5.熟悉Django、flask框架进行web开发；6.熟练掌握安卓逆向及js加密破解；7.熟练掌握 mysql 操作，熟悉Redis、Mongodb数据库操作和特点；8.熟练掌握Scrapy、pyspider框架及其高级特性；9.熟练掌握scrapy-redis分布式，了解各组件工作机制；10.熟练掌握Python多线程爬虫及其机制；11.熟练使用Selenium、airtest等自动化程序进行动态HTML页面和app抓取；12.熟练掌握布隆过滤的使用方法和规则；13.熟练掌握kafka、elasticsearch工作原理及基本操作。有网站爬取需求的都可以找我。
工作经历
2021-02-01 -2024-03-01北京腾瑞云文化科技有限公司爬虫工程师
工作地点在北京中科院自动化所。 爬虫，爬虫，爬虫 主要负责爬虫系统的开发、维护以及重点网站的技术破解。 包括但不限于分布式爬虫系统的搭建与维护、网页及app端信息的抓取和去重、日志监测、采集调度等工作。 快手，抖音等app逆向破解，js加密破解 熟练使用es，Kafka，MySQL，mongodb，redis等 熟练使用scrapy，pyspider等主流爬虫框架及request包等 采集网站100+ 1. 快手，抖音，爱奇艺，腾讯，优酷等视频网站 2. 今日头条，微博，澎湃新闻，百度资讯等新闻网站 3. qq音乐，酷我，酷狗，网易云音乐等主流音乐网站 4. 各种小说及漫画网站，网盘搜索网站采集 5. 百度搜索，360搜索，搜狗搜索，Google等主流搜索引擎通用搜索采集 6. 淘宝，京东，拼多多等电商网站采集 7. TikTok，YouTube，Facebook，Twitter等海外网站的信息采集
2016-03-01 -2021-02-01杭州橙鹰数据爬虫工程师
1. 主要负责参与分布式爬虫系统的框架搭建，进行多平台信息的抓取工作 2. 负责分布式爬虫的调度编写及优化 3. 负责临时网站爬虫脚本的编写及维护 4. 负责爬虫困难网站的技术破解 爬虫内容100+
教育经历
2012-09-01 - 2016-06-01长春大学测控技术与仪器本科
16年长春大学毕业，在校和毕业后从事计算机Python爬虫的学习和开发工作
技能
作品
抖音快手*app有设备id和参数加密，还有防抓包策略。通过逆向rpc远程调用可以进行hook获取加密信息，在通过大量获取设备id来进行大量采集。本项目可以采集抖音快手*版的任何分类并采集所有可展示的信息。
02024-04-01 11:44
