一口南瓜饼
7天前在线
全职 · 1000/日  ·  21750/月
工作时间: 工作日9:00-21:00、周末9:00-21:00工作地点:
服务企业: 0家累计提交: 0工时
聊一聊

使用APP扫码聊一聊

个人介绍

有8年爬虫大规模工作经验,目前离职状态可随时接单。会Python爬虫各个方面技能,会中等难度的网站js加密破解,包括部分手机逆向,熟悉主流网站的反爬并绕过。会Python自动化开发,1.熟练掌握Python语言,熟悉常用的开源库;2.熟悉Linux操作系统及常用命令;3.熟悉linux 网络编程,HTTP/HTTPS协议,TCP/IP网络协议;4.熟悉HTML、CSS、Javascript、jQuery以及AJAX等前端技术;5.熟悉Django、flask框架进行web开发;6.熟练掌握安卓逆向及js加密破解;7.熟练掌握 mysql 操作,熟悉Redis、Mongodb数据库操作和特点;8.熟练掌握Scrapy、pyspider框架及其高级特性;9.熟练掌握scrapy-redis分布式,了解各组件工作机制;10.熟练掌握Python多线程爬虫及其机制;11.熟练使用Selenium、airtest等自动化程序进行动态HTML页面和app抓取;12.熟练掌握布隆过滤的使用方法和规则;13.熟练掌握kafka、elasticsearch工作原理及基本操作。有网站爬取需求的都可以找我。

工作经历

  • 2021-02-01 -2024-03-01北京腾瑞云文化科技有限公司爬虫工程师

    工作地点在北京中科院自动化所。 爬虫,爬虫,爬虫 主要负责爬虫系统的开发、维护以及重点网站的技术破解。 包括但不限于分布式爬虫系统的搭建与维护、网页及app端信息的抓取和去重、日志监测、采集调度等工作。 快手,抖音等app逆向破解,js加密破解 熟练使用es,Kafka,MySQL,mongodb,redis等 熟练使用scrapy,pyspider等主流爬虫框架及request包等 采集网站100+ 1. 快手,抖音,爱奇艺,腾讯,优酷等视频网站 2. 今日头条,微博,澎湃新闻,百度资讯等新闻网站 3. qq音乐,酷我,酷狗,网易云音乐等主流音乐网站 4. 各种小说及漫画网站,网盘搜索网站采集 5. 百度搜索,360搜索,搜狗搜索,Google等主流搜索引擎通用搜索采集 6. 淘宝,京东,拼多多等电商网站采集 7. TikTok,YouTube,Facebook,Twitter等海外网站的信息采集

  • 2016-03-01 -2021-02-01杭州橙鹰数据爬虫工程师

    1. 主要负责参与分布式爬虫系统的框架搭建,进行多平台信息的抓取工作 2. 负责分布式爬虫的调度编写及优化 3. 负责临时网站爬虫脚本的编写及维护 4. 负责爬虫困难网站的技术破解 爬虫内容100+

教育经历

  • 2012-09-01 - 2016-06-01长春大学测控技术与仪器本科

    16年长春大学毕业,在校和毕业后从事计算机Python爬虫的学习和开发工作

技能

0
1
2
3
4
5
作品
哔哩哔哩搜索

b站搜索采集可以采集搜索任意一个分类下的视频,文章等信息,包括b站博主等账号信息,可以进行分类排序等等。采集量很大,也可以对视频进行下载

0
2024-04-08 15:47
抖音快手app逆向

抖音快手*app有设备id和参数加密,还有防抓包策略。通过逆向rpc远程调用可以进行hook获取加密信息,在通过大量获取设备id来进行大量采集。本项目可以采集抖音快手*版的任何分类并采集所有可展示的信息。

0
2024-04-01 11:44
分布式采集系统

采集系统包含各种网站采集,包括视频,音频,新闻,搜索等网站,采集内容包含文本,视频音频下载以及图片下载。由于是内部网站只能截图

0
2024-04-01 11:30
更新于: 04-01 浏览: 56