基于Flink实时计算的区块链数据计算

我要开发同款
翠星2023年11月30日
48阅读
开发技术hadoop、kafka、shellpythonjava
所属分类大数据、区块链

作品详情

主要针对ERC20,ERC721,ERC1155协议数据进行存储计算,最终能为客户实时展示和查询,某个币的卖家,买家,交易时间,数量等信息.1.数据从kafka接入,经过flink任务后,写到clickhouse2.clickhouse每天都会进行一次批量计算3.同时使用flink进行实时计算,完成增量更新4.由于中间发生过服务器升级情况,为了避免数据产生问题,所以增量数据和全量数据分开存储,每天把3天前的数据写入到全量表中,最近3天存在另一张表中,在对用户展示时,会把两张表关联起来查询
查看全文
声明:本文仅代表作者观点,不代表本站立场。如果侵犯到您的合法权益,请联系我们删除侵权资源!如果遇到资源链接失效,请您通过评论或工单的方式通知管理员。未经允许,不得转载,本站所有资源文章禁止商业使用运营!
下载安装【程序员客栈】APP
实时对接需求、及时收发消息、丰富的开放项目需求、随时随地查看项目状态

评论