中文母语水平
英语无工具书面交流
0
1
2
3
4
5
0
1
2
3
4
5
1小时前在线
高级开发工程师
武汉全职 · 800/日 · 17400/月信用一般
工作时间: 工作日20:00-24:00、周末08:00-24:00工作地点:
远程
服务企业:
0家累计提交:
0工时
联系方式:
********
********
********
****************聊一聊
个人介绍
大数据开发方面技能：
1、熟练使用 Linux 常用的操作命令
2、熟悉 hadoop 体系架构，理解 MapReduce 的工作原理，以及 HDFS 原理。
3、熟悉 Hadoop 的调优
3、熟悉 Hive 和 HBase，kafka。能使用 Hive 进行数据的统计分析，能对 Hive sql 进行调优
4、熟悉 Spark 体系架构，熟悉 SparkSQL，SparkStreaming
5、熟练掌握 Spark 集群架构及其工作原理，能够使用 SparkStreaming+kafka 对数据进行清洗和
实时统计分析
6、熟悉使用 flume、canal。做到日志采集分析。
7、熟练使用 Flink 的数据同步功能和原理。
8、开发和维护 Flinkx、FlinkDSL。
9、离线调度 Apache DolphinScheduler 在部门的演进和开发。
10、维护 ClickHouse、Hive、Yarn、Spark、Flink 组件。在公司实践中的遇到的问题和场景优化。
Java 开发方面技能：
1、掌握 JavaSE 和 JavaEE 相关知识
2、熟悉使用常见的 JavaEE 开源框架，如 Spring MVC、Spring、Mybatis、spring boot
工作经历
2017-09-01 -至今深圳深信服科技有限公司高级开发工程师
项目名称：公司内部项目支撑 项目人数：2 人 项 目 描 述 ： 公 司 内 部 IT 部 门 使 用 abdi 平 台 实 现 大 数 据 低 代 码 开 发 ， 维 护 Apache DolphinScheduler，flinkx，flinkdsl，帮助业务部门使用部门的平台，并维护离线任务，实时任 务的稳定性。 责任描述： 1、负责 ods 层到 dwd 层到 dws 层到 ads 层的工作流稳定性，保障一晚几千个任务在我们离 线平台运行的稳定性，保障月故障率为 0。 2、负责 yarn 任务调度排队时间统计、资源使用率的统计开发，为离线调度的时间分配做数据 支撑。 3、在实时任务和离线同步任务的指标系统进行剪裁，剪裁多余的 flink 到 pushgateway 的推 送指标，减少 pushgateway 的压力，增加 pushgateway 的并发性能。 4、修复 hive3.0 默认 UTC 时区、distinct 报错等问题，切换 hive on tez 到 hive on spark， 对 spark sql 性能调优。 项目名称：低代码平台 CDC-ES 使用技术：f
教育经历
1970-01-01 - 湖北工业大学计算机科学与技术本科
