桃小酷
1月前来过
全职 · 800/日  ·  17400/月
工作时间: 工作日9:30-17:30、周末9:00-18:30工作地点: 远程
服务企业: 6家累计提交: 0工时
联系方式:
********
********
********
聊一聊

使用APP扫码聊一聊

个人介绍

l 熟练掌握SQL语言,熟练操作关系型数据库Mysql

l 熟练掌握大数据框架传输介质:Sqoop、Flume

l 熟练掌握Flume监控,拉取日志文件

l 熟练掌握数仓搭建和多维度分层处理数据

l 熟练掌握离线数据处理框架Hive,并使用Hive进行数据清洗

l 熟练掌握非关系型数据库Hbase,Mongodb存储原理及实现数据存储及查询

l 熟练掌握SparkCore,SparkSql以及SparkGraphX图处理

l 熟练掌握SparkRDD算子

l 熟练掌握大数据开发环境搭建及后期维护

l 熟练掌握大数据常用消息队列Kafka,以及JavaApi做简单数据转换

l 熟悉Spark性能优化流程

l 熟悉Hive性能调优及Mapreduce原理

l 熟悉Hadoop工作机制及其生态圈其他产品,如hdfs,yran,hive,hbase,spark,zookeeper

l 熟悉Linux环境及Shell脚本编写

l 熟悉Java 和 Scala编程

l 熟悉流处理框架SparkStreaming,KafkaStreaming

l 会使用可视化工具Zeppelin做可视化展示

l 熟悉hive调优

l 掌握sparksql技术,处理日志的技术

工作经历

  • 2019-07-01 -至今浙江网新电气技术有限公司大数据开发工程师

    项目1:北京大兴机场大数据项目 机场项目 2021.3 - 至今 项目介绍:北京大兴机场为了统计航班数据,统筹地服工作安排,提高工作效率及航班正常运行准点率,增强 总控与行李,客运,货运等部门的信息流转,建立机场的大数据中台,以起到信息整合,归纳,统一管理的效 果。 岗位职责: 1. 带队负责调研机场相关业务部门业务以及各系统对接事宜 2. 搭建hadoop基础架构平台,维护后期生产环境 3. 部署行云数据库cirrodata,搭建数仓 4. 调研机场各业务部门实际需求,编写需求文档 5. 数仓开发 项目2:贵州监狱云上贵州项目 监狱项目 2021.3 - 至今 项目介绍:为了更好的管理省司法厅信息和各大监狱,贵州省司法厅及贵州5大监狱实现信息互通,但又分级 别管理,即省司法厅管辖监狱数据并监控监狱信息,监狱对狱内犯人做出精准的画像描述及行为判断,省司法 厅要求监狱搭建监狱数据平台,并打通与省法厅的信息互通。 岗位职责: 1. 带队调研监狱各业务部门相关业务,形成文档 2. 在云上贵州上建立监狱数据中台 3. 管理监狱数据及省局需求,构建

教育经历

  • 2015-07-01 - 2019-06-01沈阳航空航天大学机械设计制造及其自动化本科

    经验 项目经验: 1.南京银行app项目 负责数据采集 清洗 简单处理存到hdfs上 供导入数据和需求分析。 2.北京大兴机场数据中心项目 一整套流程 全程参与 包括调研 接入数据 采集书记 处理数据 搭建数据仓库 查询报表。

技能

0
1
2
3
4
5
作品
北京大兴机场数据中心

使用Hadoop 一套产品 包括hdfs mysql hive scala flume kafka 进行数据库搭建 并查询数据 操作数据库 构建模型 建立数据中心

0
2021-08-29 15:36
南京银行2

采集数据 处理数据 对数据进行整合保存到hdfs上供数据应用 后期需要搭建数仓 对数据进行分析报表 采集数据 处理数据 对数据进行整合保存到hdfs上供数据应用 后期需要搭建数仓 对数据进行分析报表

0
2021-08-29 15:35
南京银行

采集数据 处理数据 对数据进行整合保存到hdfs上供数据应用 后期需要搭建数仓 对数据进行分析报表 采集数据 处理数据 对数据进行整合保存到hdfs上供数据应用 后期需要搭建数仓 对数据进行分析报表

0
2021-08-29 15:34
更新于: 2022-05-24 浏览: 119