项目背景: 本项目旨在构建一个高效、可扩展的电商实时数据湖仓，通过对海量电商业务数据的采集、清
洗、转换和存储，为企业提供准确、全面的数据支持，助力业务决策与分析。
项目职责与成果:
• 数仓建模:
– ODS 层: 采用 Flink CDC 搭建数据采集传输架构，支持 MySQL、Kafka 多源数据接入，将原始数据同
步至 Paimon 表，数据文件落地到 HDFS，数据端到端更新延迟控制在 5 秒内，数据完整性达 99.99%
– DIM 层: 运用维度建模理论设计构建核心维度表（用户、商品等），基于 Paimon 构建拉链表处理缓
慢变化维，维度数据更新时效
点击空白处退出提示
评论