基于 Flink SQL + Kafka + Doris 的 App 实时数据仓库产品系统

我要开发同款
devotion_developer2026年11月09日
6阅读

技术信息

语言技术
Java、Python、Shell、Kafka、Hadoop
系统类型
Web
行业分类
企业服务

作品详情

行业场景

面向千万级日活的移动 App,原有运营看板指标为 T+1,无法及时发现活动和版本变化的效果。本项目搭建了一套实时数仓链路,使核心运营指标达到分钟级可查。

功能介绍

埋点日志 → Kafka(ODS)→ Flink SQL 清洗与维表关联(DWD 明细宽表)→ 多粒度窗口聚合(DWS)→ Doris(OLAP 查询)/ MySQL(实时看板)

项目实现

DWD 明细层:消费 Kafka 埋点日志,用 Flink SQL 完成解析、过滤、字段清洗和公共维度退维,产出统一的明细宽表,供下游指标复用。
实时看板指标:基于明细宽表计算日活、新增、打开、连接、会话数等核心指标,按 5 分钟窗口聚合后写入 MySQL,支撑运营分钟级查看。
DWS 多粒度聚合:以 5 分钟为步长,统计最近 1/5/10/20/30/60 分钟的 PV、UV,按版本、渠道、地域等维度聚合,结果写入 Kafka 和 Doris,供下游 OLAP 复用。

示例图片

声明:本文仅代表作者观点,不代表本站立场。如果侵犯到您的合法权益,请联系我们删除侵权资源!如果遇到资源链接失效,请您通过评论或工单的方式通知管理员。未经允许,不得转载,本站所有资源文章禁止商业使用运营!
下载安装【程序员客栈】APP
实时对接需求、及时收发消息、丰富的开放项目需求、随时随地查看项目状态

评论