勇敢的俍心
3小时前在线
查看联系方式
前百度大数据研发北京
全职 · 36000/月兼职 · 1200/8h 信用正常
工作时间: 工作日09:00-23:00、周末09:00-23:00工作地点:
联系方式:
********
********
********
按天预约
按月雇佣(荐)
下载APP

扫码直接沟通

个人介绍

首先是做人,诚信,有责任心。

1.     掌握Scala、Python、Java语言及其技术栈;

2.     掌握大数据平台设计与架构实践;

3.     熟悉Spark、Hadoop、Hive、Kafka、Flink等常用大数据生态系统、原理及优化、核心源码;

4.     熟悉数据仓库建模,离线、实时大数据系统开发;

5.     熟悉Web后端架构与开发,了解Web前端;

6.     快速Troubleshooting能力,英语CET4:568,CET6:472。

工作经历

  • 2019-07-01 -至今某TOP数据外企大数据平台架构

    基于Amazon AWS ES2、ECS、S3等基础服务搭建弹性资源、低成本的企业大数据平台。其主要功能包括:弹性基础资源申请、集群初始化(Hadoop、Spark、Hive、Livy等)、工作流创建、任务调度与管理、Web前后端研发、用户认证与安全性、日志系统等。整体设计分为平台服务端与SDK,用户通过SDK可以很容易的定义任务以及组成工作流,部署到平台服务端运行;后台服务端基于Flask框架,部署于AWS提供的Docker。该平台已上线2.0版本,支持了公司主要的数据业务流程,为公司节约机器成本50%以上。作为核心项目,后期功能增加与优化持续研发中。

  • 2018-07-01 -2019-06-30滴滴出行高级大数据工程师已认证

    1. 滴滴运营数据项目,包括天机、POPE、Insight等,旨在为公司运营决策提供科学的数据支持,为乘客与司机提供向导。各数据产品涉及订单、司机、乘客、城市、运营活动等多个主题,支持多维度筛选、人群圈定、即席查询等,给用户展示可视化图表、漏斗数据。经过产品需求分析、按时完成了离线与实时数据开发、数仓及其表结构设计、查询引擎(Presto、ES、Druid等)选型与API、前端联调等研发工作,保障了数据产品的迭代开发效率、可用性与稳定性。使得前端页面对大数据即席查询的响应时间不超过3s。对大数据量的任务(TB、数亿级别)进行存储结构与性能优化,缩短任务执行时间,提高了自集群资源利用率。 2. 建设网约车业务统一的数据仓库,旨在支持多数据产品易用、减少重复开发、降低资源浪费。数据仓库设计分为原始表(ODS),网约车数据产品统一的数据明细层(DWD)、聚合层(DWM、DM),采用维度建模思想,关联事实表与维度表,进行指标定义,计算扩展指标,跨部门统一指标口径。该数仓目前已支持跨部门、跨产品线的业务数据需求,保障了数据易用、口径一致。得数据产品开发更加方便快捷,提高了数据易用性,节约集群计

  • 2016-07-01 -2018-06-30百度大数据研发已认证

    基于百度云提供的基础服务建立大数据平台,实现公司业务数据计算与分析。项目内容包括:网站数据采集与传输、ETL设计与开发(适配各类非结构化数据)、数据仓库设计、任务调度系统开发(基于Azkaban)、数据报表以及元数据管理与监控等。项目已上线,稳定运行,实现了结构化与非结构化数据统一接入数据仓库,其中非结构化数据源ETL准确性高达十万分之二。为上层的数据分析提供精准稳定的数据服务,使产品、运营、编辑等基于数据做出正常决策。

教育经历

  • 2014-09-02 - 2017-06-30北京工业大学电子科学与技术硕士研究生已认证

    科研方向为物联网与大数据方向,发表多篇论文与发明专利。

技能

大数据平台架构
数据仓库建模与研发
OLAP查询引擎
Hadoop
Spark
0
1
2
3
4
5
0
1
2
3
4
5

作品

某大型央企大数据平台

互联网+时代,很多央企,国企希望借助互联网与大数据为企业注入新的活力。该项目根据企业需求,设计与实现了大数据平台,接入了企业大部分传统数据,打破了数据之间的藩篱,使得数据更有意义,高效地支持企业决策,提高了生产效率。

0
2020-06-28 15:20

百度大数据平台,支持离线与事实数据接入、数仓、计算、分析、算法等。支持百度各个事业部数据的接入与自定义数据分析。集群规模上万。

0
2021-01-16 16:06

滴滴网约车涉及千万的注册司机与上亿乘客用户,千万的订单量。该系统分析与展示了整个公司的司机与乘客的各个维度的数据,支持公司运营决策,调配司乘分布,提高接单比例。

0
2021-01-16 16:06

专业社区影响力

更新于: 2020-06-29 浏览: 542
1