面向千万级日活的移动 App,原有运营看板指标为 T+1,无法及时发现活动和版本变化的效果。本项目搭建了一套实时数仓链路,使核心运营指标达到分钟级可查。
点击空白处退出提示
面向千万级日活的移动 App,原有运营看板指标为 T+1,无法及时发现活动和版本变化的效果。本项目搭建了一套实时数仓链路,使核心运营指标达到分钟级可查。
埋点日志 → Kafka(ODS)→ Flink SQL 清洗与维表关联(DWD 明细宽表)→ 多粒度窗口聚合(DWS)→ Doris(OLAP 查询)/ MySQL(实时看板)
DWD 明细层:消费 Kafka 埋点日志,用 Flink SQL 完成解析、过滤、字段清洗和公共维度退维,产出统一的明细宽表,供下游指标复用。
实时看板指标:基于明细宽表计算日活、新增、打开、连接、会话数等核心指标,按 5 分钟窗口聚合后写入 MySQL,支撑运营分钟级查看。
DWS 多粒度聚合:以 5 分钟为步长,统计最近 1/5/10/20/30/60 分钟的 PV、UV,按版本、渠道、地域等维度聚合,结果写入 Kafka 和 Doris,供下游 OLAP 复用。



评论