项目：中国邮储银行用户流水实时分析监控系统 时间：2021年10月--2022年3月 技术选型: FlinkCDC+Flink+Kafka+GuassDB+Nginx+Hadoop+Hive+Spark+Zookeeper+Promethus 语言构成：java/flinkSql 项目描述： 应邮储总行对于业务的要求，对邮储银行现有用户消费流水数据和业务模型进行整合,改造现有数据库，并加入flink组件的实时分析功能，增强用户画像和用户流水的分析功能 责任描述： 1. 撰写项目设计文档和实施文档，在项目实施的过程中，针对双流join中的数据延迟、Sink中保证exactly-once语义，保证数据库写入性能、kafka数据积压监控、被压处理和Flink任务重启保证等的技术处理提前做出对应策略。 2. 使用kafka producer对接邮储银行自有数据系统CDC，resource数据质量考核系统，对数据做分类处理。 3. 使用 Flink消费kafka实时传入数据，按照要求将消费的json格式数据解析过滤后及计算，对接不同需求，得出最终分析结果，并将结果写入openguass做使用。 4. 整合数据质量，过滤无效字段和无效数据，对接业务给出数据分层模型逻辑。合理建表后将json数据写入kafka，使用FlinkSql直接映射kafka形成table做数据需求的处理。 5.使用GuassDB应用映射kafka数据源形成实时数仓，最后导入数据，做前端展示.

项目：道客云-大数据云原生化平台 时间：2022年3月--2023年6月 技术选型: Kubenetes+Docker+hdfs+yarn+hive+spark+hbase+zookeeper+kafka+hue+promethus+TiDB 语言构成：java/shell/go 项目描述： 为应对数据上云的趋势和需求，合理整合云原生技术的架构设计和大数据处理平台，充分利用云计算资源，使大数据集群具有良好的弹性、可扩展性和自动化管理能力，为大数据应用提供高效、可靠的支持而搭建。 项目职责： 1.调研kafka/hdfs/spark等组件的部署及在云原生化的环境下，组件所产生的依赖、通信、环境兼容等问题，提出意见和解决方案； 2.针对云原生的NFS等StorageClass所存在的高并发、性能瓶颈问题，建议更换为longhorn/piraeus等存储组件，并给出测试数据及应对方案; 3.根据集群状态和metrics接口，对接pomethus和TiDB，实现集群状态可视化，同时统一管理日志，最大程度减轻运维压力。 4.针对部署过程中的发生难点，如HDFS-HA以pod形式部署时，产生的具体资源限制，持久化存储所增加的部署难度给出解决方案

项目：道客云-大数据云原生化平台 时间：2022年3月--2023年6月 技术选型: Kubenetes+Docker+hdfs+yarn+hive+spark+hbase+zookeeper+kafka+hue+promethus+TiDB 语言构成：java/shell/go 项目描述： 为应对数据上云的趋势和需求，合理整合云原生技术的架构设计和大数据处理平台，充分利用云计算资源，使大数据集群具有良好的弹性、可扩展性和自动化管理能力，为大数据应用提供高效、可靠的支持而搭建。 项目职责： 1.调研kafka/hdfs/spark等组件的部署及在云原生化的环境下，组件所产生的依赖、通信、环境兼容等问题，提出意见和解决方案； 2.针对云原生的NFS等StorageClass所存在的高并发、性能瓶颈问题，建议更换为longhorn/piraeus等存储组件，并给出测试数据及应对方案; 3.根据集群状态和metrics接口，对接pomethus和TiDB，实现集群状态可视化，同时统一管理日志，最大程度减轻运维压力。 4.针对部署过程中的发生难点，如HDFS-HA以pod形式部署时，产生的具体资源限制，持久化存储所增加的部署难度给出解决方案