Anakin 高性能异构 AI 推理引擎开源项目

我要开发同款
匿名用户2020年02月19日
77阅读
所属分类人工智能、C/C++
授权协议Apache-2.0

作品详情

Anakin是一款跨平台的高性能推理引擎,最初是由百度工程师开发的,是工业产品的大规模应用。您可以在x86-cpu、arm、nv-gpu、amd-gpu、bitmain和cambricon设备上运行 Anakin。

下载安装命令##CPU版本安装命令pipinstall-fhttps://paddlepaddle.org.cn/pip/oschina/cpupaddlepaddle##GPU版本安装命令pipinstall-fhttps://paddlepaddle.org.cn/pip/oschina/gpupaddlepaddle-gpu特征

灵活性

Anakin是一个跨平台的高性能推理引擎,支持广泛的神经网络架构和不同的硬件平台。在GPU/x86/ARM平台上运行Anakin很容易。

Anakin已与NVIDIATensorRT集成,并开放了集成API的这一部分以提供服务,开发人员可以直接调用该API或根据需要对其进行修改,这将更加灵活地满足开发要求。

高性能

为了充分发挥硬件的性能,该团队在不同级别优化了前向预测。

自动图形融合。给定算法下所有性能优化的目标是使ALU尽可能繁忙,操作员融合可以有效减少内存访问并保持ALU繁忙。

内存重用。前向预测是一种单向计算,该团队在不同运算符的输入和输出之间重用内存,从而减少了整体内存开销。

装配级优化。Sabre是Anakin的基础DNN库,在装配级别进行了深度优化。

声明:本文仅代表作者观点,不代表本站立场。如果侵犯到您的合法权益,请联系我们删除侵权资源!如果遇到资源链接失效,请您通过评论或工单的方式通知管理员。未经允许,不得转载,本站所有资源文章禁止商业使用运营!
下载安装【程序员客栈】APP
实时对接需求、及时收发消息、丰富的开放项目需求、随时随地查看项目状态

评论