跨境电商实时数仓搭建

内容: 项目简介: 随着离线数仓的完善，每日统计的指标随之增加，许多新指标对于时效性有着更高的要求，而T+1离线数 仓无法满足需求，于是公司决定搭建实时数仓，实现各类指标的实时统计，最后将统计结果进行实时可视化展出。 技术描述: 1、使用Maxwell实时同步Mysql中的业务数据，导入到Kafka对应topic中，与实时采集过来的用户行为日志数据共 同作为ods层； 2、对于用户行为日志数据，利用Flink的侧输出流来实现对日志数据的分流，将不同的流输出到Kafka不同的topic 中，作为dwd层； 3、对于业务数据，在Mysql中建立动态配置表，同步到Flink中作为广播流，与业务数据流进行关联，实现动态分流效 果，将事实表写入Kafka，维度表写入Hbase； 4、使用Redis作为旁路缓存优化，以避免频繁访问Hbase数据库，提高查询速度； 5、使用异步查询优化，单个并行可以连续发送多个请求而不需要阻塞式等待，提高流处理查询效率； 6、使用Flink的IntervalJoin来实现事实表与事实表的关联，并读取维度数据进行维度补全，做成宽表写入Kafka，作 为dwm层；内容: 项目简介: 随着离线数仓的完善，每日统计的指标随之增加，许多新指标对于时效性有着更高的要求，而T+1离线数 仓无法满足需求，于是公司决定搭建实时数仓，实现各类指标的实时统计，最后将统计结果进行实时可视化展出。 技术描述: 1、使用Maxwell实时同步Mysql中的业务数据，导入到Kafka对应topic中，与实时采集过来的用户行为日志数据共 同作为ods层； 2、对于用户行为日志数据，利用Flink的侧输出流来实现对日志数据的分流，将不同的流输出到Kafka不同的topic 中，作为dwd层； 3、对于业务数据，在Mysql中建立动态配置表，同步到Flink中作为广播流，与业务数据流进行关联，实现动态分流效 果，将事实表写入Kafka，维度表写入Hbase； 4、使用Redis作为旁路缓存优化，以避免频繁访问Hbase数据库，提高查询速度； 5、使用异步查询优化，单个并行可以连续发送多个请求而不需要阻塞式等待，提高流处理查询效率； 6、使用Flink的IntervalJoin来实现事实表与事实表的关联，并读取维度数据进行维度补全，做成宽表写入Kafka，作 为dwm层