大数据开发
北京
中文母语水平
0
1
2
3
4
5
3小时前在线
个人介绍
熟练Java， Scala， Shell 脚本语言， 可根据具体业务进行代码实现,熟练Spark与Flink， 能够使用SparkCore， spark streami
ng 完成数据分析处理， 对flink中窗口函数， cep有一定了解,熟练使用MySQL， Hbase， Redis等常见数据库， 参与过数仓搭
建,熟练HiveSQL 语句， 能够使用HIVE对离线业务指标进行分析， 及完成常见Hive优化,掌握HBase存储原理， 能够使用API 完
成对HBase 的基本操作熟练使用Kafka， Flume， Sqoop 等消息中间件， 具有Kafka效率优化经验,对于Azkaban， Oozie这
些任务调度工具都有使用 涉及过大数据集群运维工作， 熟悉docker镜像， k8s， glusterfs与系统安装等操作
工作经历
2023-05-09 -2026-03-09北京人瑞人力资源服务有限公司大数据开发
1. 天玑大数据平台与数据库的每日巡检 2. Hadoop集群空间不足时进行集群扩容与数据均衡 3. 进行操作系统安装与虚拟机迁移 4. docker镜像的更新与推送， 管理镜像仓库 5. 统计各银行上传数据， 根据数据进行指标分析 6. 进行国产化测试， 安装麒麟V10操作系统， 并在麒麟系统搭建大数据平台 7. 对k8s和glusterfs进行日常维护， 问题排查和数据备份 8. 完成Linux系统的大数据组件及数据到麒麟国产系统的服务器迁移
2021-01-05 -2023-01-11北京绎云科技有限公司大数据开发工程师
1. 从0到1搭建项目框架， 技术预言与组件安装等 2. 消费kafka 数据进行行为日志的富化及其他上报日志的入库 3. 使用flink 进行实时数据分析， 完成访问频次， 访问位置， 敏感数据， 访问时间的需求检测， 如发现异常行为， 根据不同的处置动作给与不同的处置结果 4. 后续任务维护， 效率调优， 整体负责TMI 组件后台行为分析基本逻辑。
教育经历
2014-09-01 - 2018-07-01河北工程技术专修学院计算机科学与技术本科
