熟悉系统背景介绍和系统架构设计。Redis部署与启动及操作 创建Maven工程、pom.xml中添加相关依赖、添加Web模块 Kafka集群发送订单数据 Kafka消费数据 配置Jedis用来操作Redis数据库、Spark Streaming处理数据 测试系统是否能够正常工作 搭建Web开发环境、实现数据展示功能 Tomcat9.0安装及部署、可视化平台展示 自行实现商品销售TOP3的排行榜显示 修改GetDataService.java和index.jsp文件

2024.12 Hadoop平台部署与运维项⽬ ⼀、项⽬概述 2024 年 12 ⽉参与 Hadoop 平台部署与运维项⽬，聚焦⼤数据平台搭建与组 件运维，在虚拟机环境完成从基础框架到多元组件的全流程构建，夯实⼤数据 集群运维技术能⼒。 ⼆、核⼼⼯作内容 （⼀）平台与组件搭建 基于虚拟机环境，主导 Hadoop 基础平台架构搭建，规划集群节点配置，保 障分布式存储与计算框架稳定运⾏ 。 （⼆）多元组件部署与配置 数据库类：完成 hive 数据仓库、redis 缓存数据库、clickhouse 列式数 据库、hbase 分布式数据库的安装与参数调优，适配不同数据存储与查询 场景。 协同与流处理类：部署 zookeeper 实现集群协调管理，配置 sqoop 完 成数据迁移、flume 构建⽇志采集流、flink 与 spark ⽀撑实时与离线计 算，kafka 保障⾼吞吐量消息队列，maxwell 实现数据同步，构建完整 数据流转链路。 监控类：搭建 zabbix 监控系统，配置节点状态、资源占⽤等监控项，实 时预警保障集群健康。 三、项⽬价值 通过项⽬，熟练掌握 Hadoop ⽣态体系组件运维技能，能精准应对⼤数据平 台多组件协同部署、配置及监控需求，为⼤数据集群稳定运⾏提供实操⽀撑， 积累⼤规模数据环境下的运维实战经验 。