Hadoop发行版HDP已经停止更新维护，存算一体架构存储成本持续上涨，升级后可以存算分离，独立伸缩，存储成本降低90%，整体成本降低45%，性能提升150%
点击空白处退出提示
数据平台云原生升级产品系统
我要开发同款技术信息
作品详情
行业场景
功能介绍
1. 基础架构升级： 存储使用hive on abfss替换为hive on hdfs， 计算用spark on aks(k8s) 替换为Spark on yarn
2. 作业升级：datax作业升级为spark作业，spark作业升级为spark on k8s作业，物理机调度DolphinScheduler升级为DS on K8S
3. 数据迁移： 整体迁移70T数据至微软数据湖abfss
项目实现
1. 我负责基础架构升级 100%
2. 我负责作业升级 100%
3. 我负责部分数据迁移 20%
示例图片
声明：本文仅代表作者观点，不代表本站立场。如果侵犯到您的合法权益，请联系我们删除侵权资源！如果遇到资源链接失效，请您通过评论或工单的方式通知管理员。未经允许，不得转载，本站所有资源文章禁止商业使用运营!
评论