上海远程数据工程师
1月前来过
全职 · 800/日  ·  17400/月
工作时间: 工作日9:00-18:00工作地点:
服务企业: 4家累计提交: 0工时
联系方式:
********
********
********
聊一聊

使用APP扫码聊一聊

个人介绍

本人是资深数据工程师,主攻各类平台网站数据采集爬虫相关工作。从业多年,经验丰富,完成过数十个国际知名平台数据抓取与清理工作,总数据量数亿。精通Python, Scrapy, Selenium, Pyppeteer, Splash, AWS, MySQL, MongoDB等。本人工作严谨认真,时间弹性,有各类需要欢迎讨论。

工作经历

  • 2019-08-01 -至今达势科技高级数据工程师

    技术开发:根据可口可乐、喜力、红牛等客户需求,针对海外餐饮类平台开发二十余个爬虫软件。使用包括Scrapy、 Pyppeteer、Selenium等开发工具获取数十亿条相关数据 质量保证:为确保交付质量,设计并维护Python QA脚本,自动生成囊括数据的完整度与统一度测试、纵向数据对 比、异常数据监控以及数据分布可视化的详细报表,显著减少因质量问题对其他部⻔造成的影响 团队分析:基于过去半年项目交付时⻓与数量、产品开发进度、问题反馈频率等数据分析团队表现,制定⻓短期计 划,并评估每位组员的工作表现,与其探讨未来技术与职业发展规划 项目管理:在项目和开发管理上引入Scrum工作模式,每周计划并管理团队5人工作量以优化项目的资源分配。在确 保组员工作分配合理的前提下,每月增加50%可完成的项目量的同时,平均提前20%项目的交付时间 结构优化:基于Airflow, Lambda, MySQL数据库等工具设计并实施更加高效且合理的产品结构与工作流程,结合以可 视化界面以监控并警报出现的问题。提议并启动由基于项目交付式的工作流程向产品化工作流程的转变。极大的改善了爬虫的稳定性、可维护

教育经历

  • 2015-09-01 - 2019-05-01北卡罗来纳大学计算机科学与技术本科

    计算机科学专业,专攻人工智能、机器人与游戏。第二专业运营管理,辅修数学。

技能

iOS
架构
Mongo
多线程
SQL Server
爬虫
0
1
2
3
4
5
0
1
2
3
4
5
作品
坐标点阵生成设计

设计实现点阵生成器工具,用来在平台做搜索。 可以实现用国家名称与点阵间隔距离为参数,快速生成等距离坐标点阵,与用数据支撑生成点阵。

0
2023-05-05 02:20
Grab平台爬虫

抓取东南亚地区最大外卖平台Grab的商家以及货品数据。 通过流量截取、js逆向以及用户登录模拟等多种手段破解平台反爬虫机制。 每个月定时抓取包括印尼、泰国、马来西亚、新加坡等六个国家的本地数据,单次单国家数据量超过千万。

0
2023-05-05 02:25
Ubereats平台爬虫

抓取Ubereats平台商家以及商品数据。 使用scrapy + aws s3 + selenium等工具,抓取超过15个国家数千万条数据。 每小时抓取店家排名信息,连续抓取超过一年没有出错。

0
2023-05-05 02:26

好评度
  • 专业(强烈推荐)
  • 按时(强烈推荐)
  • 态度(强烈推荐)
成功率 0 % 1 人评论
用户评价

用户278368
简约123
关闭
更新于: 2022-03-01 浏览: 225