项目架构:polarDB+datahub+Flink+mapStruct+ADB+caffeine+dts+dataworks项目描述:销售报表是各分公司查询最频繁，查询数据量最大的报表模块。各分公司对商品定价，财务对账的数据实时性要求很高。为了满足实时数据更新和大范围日期数据查询不超时,所以我们使用阿里的Flink构建了销售宽表。项目职责:1.梳理销售模块报表所有的口径和指标字段2.使用datahub监听polarDB销售源表的表单id和明细id的binlog数据3.编写Flink udtf，进行表的join和预计算4.使用caffeine缓存销售维表5.使用mapStruct实现各个表的数据汇聚到最终成最终的打平的数据6.写脚本比较原始表与宽表的差异数据,使用dataworks定时重刷数据项目收益:通过在Flink里完成跨列计算和多表join,最后报表展示层面只需要使用一张大宽表即可,简化了数据查询;数据查询减少了对数据库的依赖,有利于数据的平台迁移;消除了大量数据查询时的超时现象查看全文
声明：本文仅代表作者观点，不代表本站立场。如果侵犯到您的合法权益，请联系我们删除侵权资源！如果遇到资源链接失效，请您通过评论或工单的方式通知管理员。未经允许，不得转载，本站所有资源文章禁止商业使用运营!
下载安装【程序员客栈】APP
实时对接需求、及时收发消息、丰富的开放项目需求、随时随地查看项目状态
评论