个人介绍
首先是做人,诚信,有责任心。
1. 掌握Scala、Python、Java语言及其技术栈;
2. 掌握大数据平台设计与架构实践;
3. 熟悉Spark、Hadoop、Hive、Kafka、Flink等常用大数据生态系统、原理及优化、核心源码;
4. 熟悉数据仓库建模,离线、实时大数据系统开发;
5. 熟悉Web后端架构与开发,了解Web前端;
6. 快速Troubleshooting能力,英语CET4:568,CET6:472。
工作经历
2019-07-01 -至今某TOP数据外企大数据平台架构
基于Amazon AWS ES2、ECS、S3等基础服务搭建弹性资源、低成本的企业大数据平台。其主要功能包括:弹性基础资源申请、集群初始化(Hadoop、Spark、Hive、Livy等)、工作流创建、任务调度与管理、Web前后端研发、用户认证与安全性、日志系统等。整体设计分为平台服务端与SDK,用户通过SDK可以很容易的定义任务以及组成工作流,部署到平台服务端运行;后台服务端基于Flask框架,部署于AWS提供的Docker。该平台已上线2.0版本,支持了公司主要的数据业务流程,为公司节约机器成本50%以上。作为核心项目,后期功能增加与优化持续研发中。
2018-07-01 -2019-06-30滴滴出行高级大数据工程师已认证
1. 滴滴运营数据项目,包括天机、POPE、Insight等,旨在为公司运营决策提供科学的数据支持,为乘客与司机提供向导。各数据产品涉及订单、司机、乘客、城市、运营活动等多个主题,支持多维度筛选、人群圈定、即席查询等,给用户展示可视化图表、漏斗数据。经过产品需求分析、按时完成了离线与实时数据开发、数仓及其表结构设计、查询引擎(Presto、ES、Druid等)选型与API、前端联调等研发工作,保障了数据产品的迭代开发效率、可用性与稳定性。使得前端页面对大数据即席查询的响应时间不超过3s。对大数据量的任务(TB、数亿级别)进行存储结构与性能优化,缩短任务执行时间,提高了自集群资源利用率。 2. 建设网约车业务统一的数据仓库,旨在支持多数据产品易用、减少重复开发、降低资源浪费。数据仓库设计分为原始表(ODS),网约车数据产品统一的数据明细层(DWD)、聚合层(DWM、DM),采用维度建模思想,关联事实表与维度表,进行指标定义,计算扩展指标,跨部门统一指标口径。该数仓目前已支持跨部门、跨产品线的业务数据需求,保障了数据易用、口径一致。得数据产品开发更加方便快捷,提高了数据易用性,节约集群计
2016-07-01 -2018-06-30百度大数据研发已认证
基于百度云提供的基础服务建立大数据平台,实现公司业务数据计算与分析。项目内容包括:网站数据采集与传输、ETL设计与开发(适配各类非结构化数据)、数据仓库设计、任务调度系统开发(基于Azkaban)、数据报表以及元数据管理与监控等。项目已上线,稳定运行,实现了结构化与非结构化数据统一接入数据仓库,其中非结构化数据源ETL准确性高达十万分之二。为上层的数据分析提供精准稳定的数据服务,使产品、运营、编辑等基于数据做出正常决策。
教育经历
2014-09-02 - 2017-06-30北京工业大学电子科学与技术硕士研究生已认证
科研方向为物联网与大数据方向,发表多篇论文与发明专利。
技能
专业社区影响力
相似推荐 换一批
PHP,Python高级工程师
杰越教育
技能:Linux,PHP,Python,Docker,Java,HTML5,HTML5,JavaScript,Redis,C++,Node.js,webpack
600元/天
高级后端工程师
智普华章
技能:Python,Golang,负载均衡,Flask,Nginx,Django,Mongo,HTML5,CSS,JavaScript,Vue,Ajax,跨域,Shell,gRPC,ElasticSearch,Docker,Tornado,多线程,多进程,缓存,RabbitMQ,Gin,MySQL,Redis
500元/天
前端工程师
前搜狐
技能:前端开发,后端开发,app开发
1600元/天
高级架构师
IBM
技能:C,Python,react/reactjs,Node.js,Selenium,typescript,MySQL,Docker,kubernetes,Flutter,Vue.js,Django,Golang,scrapy,html,Ansible,Flask,egg.js,Ant.Design
2000元/天