Anakin是一款跨平台的高性能推理引擎,最初是由百度工程师开发的,是工业产品的大规模应用。您可以在x86-cpu、arm、nv-gpu、amd-gpu、bitmain和cambricon设备上运行 Anakin。下载安装命令##CPU版本安装命令pipinstall-fhttps://paddlepaddle.org.cn/pip/oschina/cpupaddlepaddle##GPU版本安装命令pipinstall-fhttps://paddlepaddle.org.cn/pip/oschina/gpupaddlepaddle-gpu特征灵活性
Anakin是一个跨平台的高性能推理引擎,支持广泛的神经网络架构和不同的硬件平台。在GPU/x86/ARM平台上运行Anakin很容易。
Anakin已与NVIDIATensorRT集成,并开放了集成API的这一部分以提供服务,开发人员可以直接调用该API或根据需要对其进行修改,这将更加灵活地满足开发要求。
高性能
为了充分发挥硬件的性能,该团队在不同级别优化了前向预测。
自动图形融合。给定算法下所有性能优化的目标是使ALU尽可能繁忙,操作员融合可以有效减少内存访问并保持ALU繁忙。
内存重用。前向预测是一种单向计算,该团队在不同运算符的输入和输出之间重用内存,从而减少了整体内存开销。
装配级优化。Sabre是Anakin的基础DNN库,在装配级别进行了深度优化。
声明:本文仅代表作者观点,不代表本站立场。如果侵犯到您的合法权益,请联系我们删除侵权资源!如果遇到资源链接失效,请您通过评论或工单的方式通知管理员。未经允许,不得转载,本站所有资源文章禁止商业使用运营!

下载安装【程序员客栈】APP
实时对接需求、及时收发消息、丰富的开放项目需求、随时随地查看项目状态
评论