淘宝电商实时数仓(Kafka + Flink SQL + MySQL + Superset)开源项目

我要开发同款
杨铝2026年09月15日
3阅读

技术信息

语言技术
PythonKafkaFlaskHadoop
系统类型
WindowsLinux
行业分类
云计算电商
开源地址
https://github.com/YangLv-Analyst/taobao-realtime-dw
授权协议
Apache许可

功能介绍

项目背景:离线链路只能 T+1、业务看不到「现在卖得怎么样」,故补分钟级实时链路,与离线集群同机共存构成 Lambda 架构雏形 |
▪ 实时 ETL 与数据质量验证:高仿真订单生产者模拟真实生产:泊松到达 + 21 点峰值波峰 + 8 品类加权 + 二八用户分布,注入
1% 脏数据验证清洗拦截与巡检不误报;Flink SQL 事件时间 + WATERMARK 容忍 5 秒乱序,TUMBLE 1 分钟窗口聚合。
▪ 难点攻坚(生产类):图表画到未来 8 小时(根因:naive DATETIME 时区失效)、看板冻结(根因:巡检采样低于窗口周
期)均追根因修复:确立「全链路 UTC、偏移只在最外层 VIEW 做一次」、采样提至 75 秒并分级告警,修复后时间轴正常、
巡检零误报。
成果:端到端延迟实测 6~55 秒;聚合一次计算分发三 Sink(Kafka/MySQL 幂等 upsert、Superset 大屏)共用一套口径;38 条踩坑
+ 1175 行复盘归档。

示例图片

声明:本文仅代表作者观点,不代表本站立场。如果侵犯到您的合法权益,请联系我们删除侵权资源!如果遇到资源链接失效,请您通过评论或工单的方式通知管理员。未经允许,不得转载,本站所有资源文章禁止商业使用运营!
下载安装【程序员客栈】APP
实时对接需求、及时收发消息、丰富的开放项目需求、随时随地查看项目状态

评论