2024.12 Hadoop平台部署与运维项⽬⼀、项⽬概述2024 年 12 ⽉参与 Hadoop 平台部署与运维项⽬，聚焦⼤数据平台搭建与组件运维，在虚拟机环境完成从基础框架到多元组件的全流程构建，夯实⼤数据集群运维技术能⼒。⼆、核⼼⼯作内容（⼀）平台与组件搭建基于虚拟机环境，主导 Hadoop 基础平台架构搭建，规划集群节点配置，保障分布式存储与计算框架稳定运⾏ 。（⼆）多元组件部署与配置数据库类：完成 hive 数据仓库、redis 缓存数据库、clickhouse 列式数据库、hbase 分布式数据库的安装与参数调优，适配不同数据存储与查询场景。协同与流处理类：部署 zookeeper 实现集群协调管理，配置 sqoop 完成数据迁移、flume 构建⽇志采集流、flink 与 spark ⽀撑实时与离线计算，kafka 保障⾼吞吐量消息队列，maxwell 实现数据同步，构建完整数据流转链路。监控类：搭建 zabbix 监控系统，配置节点状态、资源占⽤等监控项，实时预警保障集群健康。三、项⽬价值通过项⽬，熟练掌握 Hadoop ⽣态体系组件运维技能，能精准应对⼤数据平台多组件协同部署、配置及监控需求，为⼤数据集群稳定运⾏提供实操⽀撑，积累⼤规模数据环境下的运维实战经验 。