项目：道客云-大数据云原生化平台时间：2022年3月--2023年6月技术选型: Kubenetes+Docker+hdfs+yarn+hive+spark+hbase+zookeeper+kafka+hue+promethus+TiDB语言构成：java/shell/go项目描述：为应对数据上云的趋势和需求，合理整合云原生技术的架构设计和大数据处理平台，充分利用云计算资源，使大数据集群具有良好的弹性、可扩展性和自动化管理能力，为大数据应用提供高效、可靠的支持而搭建。项目职责：1.调研kafka/hdfs/spark等组件的部署及在云原生化的环境下，组件所产生的依赖、通信、环境兼容等问题，提出意见和解决方案；2.针对云原生的NFS等StorageClass所存在的高并发、性能瓶颈问题，建议更换为longhorn/piraeus等存储组件，并给出测试数据及应对方案;3.根据集群状态和metrics接口，对接pomethus和TiDB，实现集群状态可视化，同时统一管理日志，最大程度减轻运维压力。4.针对部署过程中的发生难点，如HDFS-HA以pod形式部署时，产生的具体资源限制，持久化存储所增加的部署难度给出解决方案