运维工程师
北京中文母语水平
0
1
2
3
4
5
4小时前在线
个人介绍
我是一名专注于大数据领域的运维工程师。在多年的工作中，我积累了扎实的系统运维功底，并深耕于大数据生态系统的管理与维护。我的核心职责涵盖大数据平台的日常稳定性保障、故障排查及性能调优。在具体项目实践中，我曾主导并成功执行过 Kafka 集群的数据迁移与重构，确保了业务数据的高可用与零丢失；同时，我也具备丰富的 CDH（Cloudera Distribution Hadoop）平台升级经验，能够平稳完成版本迭代与组件更新。此外，我还负责各类大数据相关产品的落地实施与交付，致力于通过高效的运维手段，为企业的数据资产保驾护航。
工作经历
2022-11-01 -2024-03-06北京硬核聚视运维工程师
公司现有集群的环境，有一些较为致命的集群的问题，像集群变慢，任务偶尔有一些失败的问题等等，集群达不到高可用、不稳定的任务失败带来巨大的重新计算工作量、数据延迟的损失、大数据开发的工作量变大。 cdh5.15升级到6.3.2之后，可以解决一些目前公司遇到的存储问题，性能瓶颈问题等等。 cdh升级后的优势： 1. HDFS的纠删码用于冷数据降低存储成本又保证了数据的可用性。 2. Hive2的矢量化(vectorization )进一步提升分析性能，带来20％-80％的性能提升。 3. YARN可以在带有GPU的专有硬件上调度作业，对于深度学习用例的性能提升在5倍到10倍。 4. MapReduce添加了Map输出collector的本地实现，对于shuffle密集型的作业来说，这将会有30%以上的性能提升。 5. 多namenode的支持，保证集群的高可用性。 工作描述： 1. 在测试集群测试，编写cdh升级文档。 2. cdh5.15 tar包转rpm包安装。 3. cm版本升级。 4. cdh升级。 5. 测试升级后的集群各组件。
教育经历
2013-09-01 - 2017-07-01太原理工大学现代科技学院计算机科学与技术本科
语言
作品
大数据能力输出平台作为一个接口管理平台，负责大数据集群对外提供接口的工作，通过可视化配置，提供一个统一的API接口，供客户端调用。工作描述： 1. 负责大数据能力输出平台、Mysql、Elasticsearch集群的部署。2. 负责大数据能力输出平台的日常运行及维护，保证大数据能力输出平台的正常运转
02026-05-21 08:45
