点击空白处退出提示
作品详情
1.数据从kafka接入,经过flink任务后,写到clickhouse
2.clickhouse每天都会进行一次批量计算
3.同时使用flink进行实时计算,完成增量更新
4.由于中间发生过服务器升级情况,为了避免数据产生问题,所以增量数据和全量数据分开存储,每天把3天前的数据写入到全量表中,最近3天存在另一张表中,在对用户展示时,会把两张表关联起来查询
![](https://filescdn.proginn.com/works/47bd00df1923b044adee682c2bae130ded7bbf2d.jpg?x-oss-process=image/resize,w_800)
![](https://filescdn.proginn.com/works/71ce6186e81b29bd2f0fdd5da643c52f7281e325.jpg?x-oss-process=image/resize,w_800)
![](https://filescdn.proginn.com/works/757c89a5e337298a7b5f829bdc6a12e87f1cefb4.jpg?x-oss-process=image/resize,w_800)
![](https://filescdn.proginn.com/works/ea9df300cefc16b52731da871db5ee0c5f4be7eb.jpg?x-oss-process=image/resize,w_800)
声明:本文仅代表作者观点,不代表本站立场。如果侵犯到您的合法权益,请联系我们删除侵权资源!如果遇到资源链接失效,请您通过评论或工单的方式通知管理员。未经允许,不得转载,本站所有资源文章禁止商业使用运营!
评论