碧落舟上
1月前来过
全职 · 500/日  ·  10875/月
工作时间: 工作日20:00-22:00、周末08:00-20:00工作地点: 杭州远程
服务企业: 11家累计提交: 9工时
联系方式:
********
********
********
聊一聊

使用APP扫码聊一聊

个人介绍

【我的介绍】:- 有多年分布式爬虫(公开爬取,授权爬取,模拟浏览器)系统的需求设计及研发工作经验。- 有丰富的反爬虫经验与爬取破解技术。- 专注于python爬虫全流程技术,提供爬虫整套的解决方案。打码服务,代理服务,分布式环境搭建与项目部署。- 思维清晰,逻辑较好:有较强的逻辑思维能力,能够清晰地梳理产品流程及产品功能。- 工作认真负责,诚实守信,能严格要求自己,有较强的团队协助能力与沟通能力。【技术栈介绍】:精通: Python开发、java代理中心搭建,精通Linux系统日常操作指令熟练应用:celery分布式任务队列,rabbitmq+HAProxy中间人集群的负载均衡,redis缓存技术,mysql数据库,        Graylog+Elasticsearch+MongoDB日志收集搜索,flask搭建可视化爬虫平台,littltproxy搭建统一代理中心【可提供服务】: -爬虫整套的解决方案的部署与咨询。打码服务,代理服务,分布式爬虫搭建,监控,日志收集与分析。-基于littltproxy的二次开发-基于flask的Web网站的整体研发-基于flask的REST接口开发 -第三方接口对接

工作经历

  • 2017-03-09 -至今同盾科技高级后端工程师

    1,授权爬取的爬虫系统 2,可视化分布式公开爬虫框架(celery,rabbitmq,flask) 3,验证码打码系统 4,爬虫代理系统(littleproxy) 5,日志收集检索系统(graylog,Elasticsearch) 6,爬虫服务器的管理。

  • 2015-03-01 -2017-03-01南京云帕信息技术有限公司高级后端工程师

    1,电商评论的爬取与正负面信息的语义分析 2. 路由器***fi模块 3. 参与搭建网络应用层流量监控和识别系统

教育经历

  • 2011-01-09 - 2015-02-06南京信息工程大学网络工程本科

    在大学期间,帮助老师做一些在校外接的一些小项目

技能

爬虫
Linux
0
1
2
3
4
5
0
1
2
3
4
5
作品
代理中心

代理中心,对接各种类型代理,为不同类型爬虫提供不同代理,可以防止IP被封,提高爬取速度

0
2019-01-11 10:57
验证码打码服务

可以识别各类验证码 为爬虫的登录服务

0
2019-01-18 17:38
可视化分布式公开爬取系统

可视化管理爬虫脚本,动态更新爬虫脚本。 周期性爬虫,使用celerybeat管理周期性任务 分布式部署爬虫worker,极强的横向扩展能力 模拟浏览器,可以实现拖动滑块登录 日志收集系统,可以分析爬虫运行情况

0
2019-01-11 10:53

1 人评论
用户评价

用户269411
徐小洁
更新于: 2019-01-29 浏览: 428