实时数仓建设

我要开发同款
肖尼克2022年09月21日
192阅读

作品详情

在实时数据系统建设初期,由于对实时数据的需求较少,形成不了完整的数据体系。我们采用的是“一路到底”的开发模式:通过在实时计算平台上部署 JStorm 作业处理实时数据队列来提取数据指标,直接推送到实时应用的业务库。但是,随着产品和业务人员对实时数据需求的不断增多,新的挑战也随之发生。1. 数据指标越来越多,“烟囱式”的开发导致代码耦合问题严重。2. 需求越来越多,有的需要明细数据,有的需要 OLAP 分析。单一的开发模式难以应付多种需求。为解决以上问题,我们根据生产离线数据的经验,选择使用分层设计方案来建设实时数据仓库。1、实时数仓分层方案设计2、redis、hbase指标池维度数据整理重构3、JStorm任务改造迁移至Flink,druid任务改造迁移至Hologress4、搭建Hologress实时OLAP数据服务体系,开发定时数据回流任务调度系统5、提供统一指数据接口满足当天实时数据(Hologress)、历史数据(mysql、hive)以及实时+离线数据的取数需求,通过配置化上线,大大提高数据需求的上线效率6、SpringCloud应用服务层架构设计并推动业务改造上线
声明:本文仅代表作者观点,不代表本站立场。如果侵犯到您的合法权益,请联系我们删除侵权资源!如果遇到资源链接失效,请您通过评论或工单的方式通知管理员。未经允许,不得转载,本站所有资源文章禁止商业使用运营!
下载安装【程序员客栈】APP
实时对接需求、及时收发消息、丰富的开放项目需求、随时随地查看项目状态

评论