爬虫
0
1
2
3
4
5
0
1
2
3
4
5
1月前来过
网络爬虫工程师
上海全职 · 300/日 · 6525/月信用正常
工作时间: 工作日12:00-20:30、周末08:00-20:00工作地点:
远程
服务企业:
5家累计提交:
0工时
联系方式:
********
********
********
****************
查看联系方式
个人介绍
◼ 熟练掌握 Web 前端网页结构(Javascript、HTML、CSS)。
◼ 熟悉 scrapy 框架，flask 框架，requests，selenium等常用包、模块；
◼ 熟悉常见的划块，点选验证，等技术，熟悉爬虫的工作原理，了解常见的反爬手段；
◼ 熟悉整个爬虫的实现流程，有反爬经验，常见的 js 逆向反爬、字体加密反爬、MD5、base64 加密；
◼ 熟悉掌握 Fiddler 抓包工具，Appium自动化工具；
◼ 熟练掌握 lxml，jsonpath，正则，Beautiful Soup；
◼ 熟悉掌握关系型数据库（MySQL）以及非关系型数据库（mongodb）；
◼ 有手机 APP 移动端抓取经验；
工作经历
2018-12-25 -2022-12-04上海聘贤科技集团有限网络爬虫工程师
工作内容： 1.负责数据抓取平台规划和建设，完成数据采集与爬取，解析处理和入库： 2.研究各种网页探寻特点和规律，扶着网页信息抽取，数据清洗工作： 3.负责领域知识的定向爬取，深度提取和挖掘： 4.配合数据清洗，整理，去重和合并工作： 5.负责爬虫相关技术的创新和优化
教育经历
2017-09-01 - 2020-07-01国家开放大学旅游管理专科
在校期间做过多个爬虫项目，并在其他平台经行爬虫兼职
技能
作品
项目名称： TED视频字幕 开发时间：2022.09.01 项目描述：商业演讲字幕 项目职责：采集数据 ，整合处理内容 技术要点： 1. 使用selenium框架实现抓取数据； 2. 运用selenium动作链实现数据获取； 3. 运用 xpath抓取数据并用openpyxl将数据保存为xlsx文档
02023-04-09 12:37
项目名称： 大众点评旅游景点评论抓取 开发时间：2022.010.08 项目描述：旅游景点评论抓取 项目职责：采集数据 ，整合处理内容 技术要点： 1. 使用scrapy框架实现抓取数据； 2. 运用IP代理池，以防检测并限制IP访问； 3. 替换大众点评评论中的加密加密文字 4. 并使用xpath进行抓取数据
02023-04-09 12:40
项目名称： 抓取淘宝评论 开发时间：2022.06-2022.06 项目描述：笔记本电脑的产品评论 项目职责：采集数据 ，整合处理图文 技术要点： 1. 使用scrapy框架实现异步抓取数据； 2. 运用IP代理池，以防淘宝检测并限制IP访问； 3. 运用 jsonpath 抽取目标数据，结构化新的 json 数据 4. 抽取所需数据写入MySQL数据库
02023-04-09 12:41
