Python
MySQL
MongoDB
0
1
2
3
4
5
0
1
2
3
4
5
2天前在线
河北睿亿科技有限公司
爬虫工程师
石家庄全职 · 300/日 · 6525/月信用正常
工作时间: 工作日10:00-23:00、周末10:00-23:00工作地点:
远程
服务企业:
11家累计提交:
0工时
联系方式:
********
********
********
****************立即预约
查看联系方式
查看联系方式个人介绍
接web数据爬虫项目本人自由职业者，时间自由，认真负责熟练使用requests,selenium,scrapy爬虫工具包熟悉 mysql，mongodb数据库爬取过各种政府网站，招投标网站，美团，豆瓣等网站能够破解常用滑动验证，字符验证能够解决一些反爬***1
工作经历
2021-06-01 -至今河北睿亿科技有限公司爬虫工程师
• 利用正则、xpath、json、css、等提取网页信息 • 根据需要爬取的数据进行分析，分析目标网站结构和一些反爬手段 • 对抓取数据进行清洗过滤，储存 • 编写各种网站爬虫 • 学习新技术， 不断适应公司对不同网站爬取的要求
教育经历
2016-09-01 - 2020-07-01中国地质大学长城学院电子信息工程本科
1.全日制本科大学，电子信息工程 2.c语言计算机二级证书、对编程有兴趣 3.社会实践先进个人，孝老爱亲先进个人
技能
作品
获取全国疫情数据，数据清洗，储存为csv 1. 用pprint模块格式化输出，数据更直观，方便清洗 2. 动态加载，json提取数据 3. 用pandas模块，保存为csv文件 4. 处理反爬，寻找规律，删除无用字段，拼接url
02022-02-17 20:28
获取京东商品的价钱、标题、店铺名、付款数、分类等信息、保存csv 1. selenium模拟登陆网站 2. 获取登录验证图片，通过算法分析出缺口点坐标 3. Selenium模拟滑动验证 4. Js模拟下滑操作 5. 获取所需数据，筛选清理，保存csv
02022-02-17 20:21
豆果美食app 爬取分享达人信息，菜谱信息，用料、做法，筛选清洗信息，保存mongodb数据库和csv文件 1. 用fiddler抓包工具抓取app数据包 2. 清洗筛选数据，提取有用信息 3. 携带代理ip，采用多线程处理 4. 保存mongodb数据库
02022-02-17 20:05
