Codererrr
1小时前在线
查看联系方式
厦门市万科企业股份有限公司爬虫工程师厦门
全职 · 15000/月兼职 · 500/8h 信用一般
工作时间: 工作日09:00-18:00、周末10:00-18:30工作地点:
服务企业: 31家累计提交: 13工时
联系方式:
********
********
********
下载APP

扫码直接沟通

个人介绍

可以爬取各种网站(app小程序也接)
结构和非结构数据提取,存储
反爬机制破解:UA,验证码,js加密,封ip,封cookie等
技术栈: scrapy,scrapy-redis, requests,re,xpath,beautifulsoup,flask等
存储:Mysql,ElasticSearch,mongodb,redis,excel等
selenium,phantomJS模拟浏览器爬取
高效率,分布式爬取经验

工作经历

  • 2016-03-03 -2019-10-25厦门市万科企业股份有限公司爬虫工程师已认证

    1. 根据需要爬取的字段进行需求分析,分析目标网站的网站结构和一些反爬手段。 2. 通过scrapy,requests,xpath,scrapy-redis等技术手段编写爬虫程序进行内容抓取。 3. 对抓取到的数据进行清洗过滤,分表存储。 4. 并根据爬取过程中遇到的一些反爬机制,不断优化自己的程序。

教育经历

  • 2014-09-13 - 2018-06-30福建农林大学计算机科学与技术本科

    2014.09-2015.06                   任职班级组织委员 2015.09-2016.06                   任职班级班长 荣获2015-2016年度社会先进工作个人奖项 荣获2016-2017年度院三等奖学金

技能

数据处理与分析
爬虫
网页抓取
Python
Flask
MySQL
0
1
2
3
4
5
0
1
2
3
4
5

作品

负责API数据接口,统计局数据,年鉴,一手房交易及预售证,土地交易,交通,二手土地,教育,年鉴,一手房交易,预售证的爬取

0

负责京东,淘宝等电商平台的数据抓取 excel,mysql,mongodb,redis,elasticsearch等数据库存储

0

负责58同城 链家 安居客 类似网站的抓取 各个维度(商家*,地址,客户评论,分数,客户数检测等)数据去重保存 舆情分析,分词BI展示

0

专业社区影响力

好评度
  • 专业(强烈推荐)
  • 按时(强烈推荐)
  • 态度(强烈推荐)
成功率 100 % 1 人评论
用户评价

用户318490
asd121
完成
查看技术信用
更新于: 2020-04-15 浏览: 828
2