项目背景:离线链路只能 T+1、业务看不到「现在卖得怎么样」,故补分钟级实时链路,与离线集群同机共存构成 Lambda 架构雏形 |
▪ 实时 ETL 与数据质量验证:高仿真订单生产者模拟真实生产:泊松到达 + 21 点峰值波峰 + 8 品类加权 + 二八用户分布,注入
1% 脏数据验证清洗拦截与巡检不误报;Flink SQL 事件时间 + WATERMARK 容忍 5 秒乱序,TUMBLE 1 分钟窗口聚合。
▪ 难点攻坚(生产类):图表画到未来 8 小时(根因:naive DATETIME 时区失效)、看板冻结(根因:巡检采样低于窗口周
期)均追根因修复:确立「全链路 UTC、偏移只在最外层 VIEW 做一次」、采样提至 75 秒并分级告警,修复后时间轴正常、
巡检零误报。
成果:端到端延迟实测 6~55 秒;聚合一次计算分发三 Sink(Kafka/MySQL 幂等 upsert、Superset 大屏)共用一套口径;38 条踩坑
+ 1175 行复盘归档。
点击空白处退出提示









评论