Anakin 高性能异构 AI 推理引擎开源项目

Aaki是一款跨平台的高性能推理引擎，最初是由百度工程师开发的，是工业产品的大规模应用。您可以在x86-cpu、arm、v-gpu、amd-gpu、bitmai和cambrico设备上运行 Aaki。

灵活性

Aaki是一个跨平台的高性能推理引擎，支持广泛的神经网络架构和不同的硬件平台。在GPU/x86/ARM平台上运行Aaki很容易。

Aaki已与NVIDIATesorRT集成，并开放了集成API的这一部分以提供服务，开发人员可以直接调用该API或根据需要对其进行修改，这将更加灵活地满足开发要求。

高性能

为了充分发挥硬件的性能，该团队在不同级别优化了前向预测。

自动图形融合。给定算法下所有性能优化的目标是使ALU尽可能繁忙，操作员融合可以有效减少内存访问并保持ALU繁忙。

内存重用。前向预测是一种单向计算，该团队在不同运算符的输入和输出之间重用内存，从而减少了整体内存开销。

装配级优化。Sabre是Aaki的基础DNN库，在装配级别进行了深度优化。