离线数据平台

我要开发同款
小更果果2022年12月08日
150阅读

作品详情

离线数据中心建设技术栈:Springboot+SpringCloud+MySQL+Redis+RabbitMQ+HDFS+Hive项目描述:公司最初的餐饮 Saas 生产的订单数据是存储在 Mysql 中的,但是随着业务的发展,订单量越来越大,将几亿甚至几十亿的订单数据存储在 mysql 中对于跨度时间长的查询来说是个灾难,经分析几个月前的数据的查询频率很低,便考虑将这部分数据作离线存储。而离线数据中心主要是对不经常查询的订单数据做的存储与报表输出。 项目业绩:1.支撑39W+的商户数据(活跃29W+)2.支撑离线数据报表中心40+的输出3.Ambari集群7*24小时持续稳定运行4.已存储数据量4.5TB+工作内容:1.利用Ambari搭建了大数据平台,使用hive存储离线数据 2.对MySQL中的历史数据进行数据迁移,对增量数据进行持续存储,并做到了数据的不重不漏 3.完成了10+报表的研发工作 4.是餐饮SaaS的工程质量的核心成员,并主导了工程质量的提升工作
查看全文
声明:本文仅代表作者观点,不代表本站立场。如果侵犯到您的合法权益,请联系我们删除侵权资源!如果遇到资源链接失效,请您通过评论或工单的方式通知管理员。未经允许,不得转载,本站所有资源文章禁止商业使用运营!
下载安装【程序员客栈】APP
实时对接需求、及时收发消息、丰富的开放项目需求、随时随地查看项目状态

评论