Django
Hadoop
TiDB
系统架构
0
1
2
3
4
5
0
1
2
3
4
5
1月前来过
高级大数据工程师
上海全职 · 1000/日 · 21750/月信用正常
工作时间: 工作日20:00-22:30、周末9:00-18:00工作地点:
服务企业:
7家累计提交:
1工时
联系方式:
********
********
********
****************
查看联系方式
个人介绍
自学能力强，善于接受新事物。为人热情好学、能承受一定的压力、良好的职业道德，饱满的工作热情。善于与同事交流沟通，能以较强的团队合作精神，快速的融入开发团队；工作效率高，思路清晰，能很快按照产品需求给出合理的解决方案，并很快将方案落实；应变能力强，线上出现突发问题，能沉着应对，缩小事故损失，快速稳定的解决问题，事后分析出原因，避免类似事件再次发生。
工作经历
2018-06-01 -2019-06-01拉卡拉支付股份有限公司上海分公司高级大数据工程师
1、负责公司大数据平台搭建（包括组件选择，具体架构设计，安装实施），运维监控等。 2、独自开发基于oozie的ETL工具(RDBMS数据库与HADOOP集群)以及调度 3、给各业务系统的数据需求提供可靠的解决方案并持续优化，实施完成 4、将原先基于Oracle的报表系统搬迁到大数据平台，根据不同使用场景，设计新的架构体系，解 决了 数据的计算和存储风险 5、联合风控部参与和国家公安部的关系图谱项目的合作，包括技术选型，核心代码的开发
2016-09-01 -2018-06-01深圳市法本信息技术有限公司高级大数据工程师
1、使用hive、sparkSQL，负责业务方报表等常规数据需求的建模与开发 2、与另外一名同事使用Django框架，合作设计、开发ETL工具ehi(RDBMS数据库与HADOOP 集群) 3、设计与开发基于Hbase和Phoenix以及JAVA的quartz的准实时应用的后台数据支持，以及 基于pafa框架的数据展示
2014-07-01 -2016-08-01上海裕臻商贸有限公司数据分析师
◆对业务销售数据进行清洗并分析 ◆每周、月、季、年度数据分析报表的建立、展示与汇报 ◆根据分析的结果，结合业务，提出相关营销改善策略 ◆研究并定义数据分析相关指标
教育经历
2008-09-01 - 2012-07-01安徽财经大学信息与计算科学本科
学科属于计算机和数学交叉学科，包含了数据分析以及计算机编程语言，成绩优秀，正常毕业
资质认证
技能
作品
项目描述： 一套基于Python的Django框架开发，只需简单页面配置就可完成数据从RDBMS数据库，多模 式下定时同步到hadoop的ETL工具，以及任务的修改查询等 责任描述： 1、技术框架的选型 2、产品的原型设计 3、主体功能的代码实现，目前主要包括（a、利用Django的自定义管理页面实现配置数据库表的 元数据到hive再到本项目ehi的后台数据库PG；b、页面收集需要同步表的信息提交oozie的re stful生成定时调度；c、给已经同步的表添加同步字段；d、已生成oozie任务的查询） 4、产品的后期优化以及继续开发
02021-08-15 00:14
所属公司： 拉卡拉支付股份有限公司上海分公司 项目描述： 项目背景：公司原先的报表系统的数据清洗都是基于oracle一体机，现数据量激增导致数据清洗 缓慢，且存储压力大（主要是扩容困难） 项目实施：采用新搭建的大数据平台，完成报表数据的数据清洗计算部分，再重新推回原报表数据 库，从而减轻计算压力，另将历史数据同步到大数据集群，开放hue分用户分资源查询，减轻数据 库存储压力 责任描述： 1、制定工作计划以及详细到人的任务分工 2、组织成员完成现有计算任务的梳理以及分类，分清主次 3、完成模板以及核心代码的编写，指导成员完成所有计算脚本的改造编写以及优化、测试 4、调度任务的部署，切换方案的制定
02021-08-15 00:10
用户评价
上海驭兆信息科技有限公司
很好
