Volcano 高性能任务调度引擎开源项目

我要开发同款
匿名用户2019年07月03日
43阅读
开发技术GO语言
所属分类Google Go、作业/任务调度、程序开发
授权协议Apache

作品详情

Volcano是基于Kubernetes的批处理系统,源自于华为云AI容器。Volcano方便AI、大数据、基因、渲染等诸多行业通用计算框架接入,提供高性能任务调度引擎,高性能异构芯片管理,高性能任务运行管理等能力。

整体架构

Volcano提供一整套目前K8S在批量和弹性工作负载处理中缺失的机制,包括:

机器学习/深度学习生物信息学/基因组学其他“大数据”应用

这些类型的应用程序通常运行在Volcano集成的Tensorflow,Spark,PyTorch,MPI等通用域框架上。

Volcano为Kubernetes添加的机制和功能的一些例子:

作业管理的扩展和改进,如:Multi-pod作业生命周期管理扩展,包括挂起、恢复和重启提升错误处理作业的索引任务依赖调度扩展联合调度公平调度队列调度抢先和收回预订和回填基于拓扑逻辑的调度运行时扩展支持Singularity等专用容器运行时,具有GPU加速器扩展和增强的安全功能其他数据局部感知和智能调度优化数据吞吐量,往返延迟等

Volcano建立在使用多个系统和平台大规模运行各种高性能工作负载的十五年经验之上,并结合了开源社区的最佳创意和实践。

查看全文
声明:本文仅代表作者观点,不代表本站立场。如果侵犯到您的合法权益,请联系我们删除侵权资源!如果遇到资源链接失效,请您通过评论或工单的方式通知管理员。未经允许,不得转载,本站所有资源文章禁止商业使用运营!
下载安装【程序员客栈】APP
实时对接需求、及时收发消息、丰富的开放项目需求、随时随地查看项目状态

评论