在高吞吐存储与加速计算场景中,数据要在设备之间搬运,常规路径必须经主机内存中转,CPU 与交换芯片上行口带宽成为瓶颈,时延随数据量线性放大。
本项目的目的是让两个设备直接互传数据、绕开主机内存,降低时延并释放 CPU 算力。
同一台服务器上往往同时插着加速卡、NVME盘、FPGA、网卡等多种设备,它们之间需要大量交换数据。常规做法是数据先进主机内存再转发,多一次搬运就多一次带宽占用和时延;而让设备直接互传,又要面对各家驱动接口不统一、直传前置条件复杂、设备内存无法被操作系统直接识别这三个障碍。本项目立项目的是提供一层与硬件无关的消息通道,让上层应用只写一次代码,就能在任意两种设备之间完成直传。业务背景是高吞吐存储与加速计算场景中,单机多设备的数据流转效率直接决定整体性能。
系统由三层组成。用户态接口层提供类 Verbs 语义的统一接口,包括队列创建销毁、读写任务提交、完成事件等待,调用方式与主流远程内存访问框架一致,降低接入成本。
内核资源层负责设备发现与注册、设备间配对合法性判定、内存池分配与回收、队列调度、组播路由配置以及统计计数。
驱动适配层以统一操作接口对接各类设备,把硬件差异封装在下层,上层不感知具体设备类型。另提供条带化缓冲区适配,使阵列类端点能按条带切分数据、均衡多设备带宽。
1 FPGA-QDMA ,FT,RC端点驱动, 用户态API库, 资源管理层的内存管理部分。
2 技术栈大概有 内核基于Linux 5.10 LTS,包含内核模块开发,字符设备与 ioctl 接口、sysfs 调试节点、DMA 映射 API、内存池与地址索引结构、工作队列与并发控制,PCIe 配置空间与拓扑解析、BAR 映射、访问控制(ACS)、IOMMU/SMMU、PCIe 组播、远程内存访问(Verbs)接口等。
3 架构整体分三层。用户态接口层提供类 Verbs 语义的统一接口(队列创建销毁、任务提交、完成事件等待),以动态库形式交付,保持 ABI 稳定。内核资源层是主体,内部划分为设备管理、内存管理、队列管理、路由管理、事件通知五个子系统,负责设备注册与发现、设备配对合法性判定、内存池分配回收、队列调度、组播路由配置、异步事件上报。驱动适配层以统一操作接口对接各类设备,设备通过注册方式接入。
数据面:应用把描述符提交到发送队列,内核下发到设备;两端设备之间通过P2P路径直接把数据写入对端缓冲区,完成后写完成队列;用户态通过事件描述符收到通知
控制面目前不详细说明
4 亮点 主要是对不同硬件以同一个API来提供P2P零拷贝能力的支持,常规情况下如果PCIE链路达标,基本能达到硬件DMA能力极限的99%或者FPGA DDR能力的99%。
5 难点 CMB内存注册为P2P内存之后并且映射以SG模式映射时,无法被上层识别
复杂情况下的错误排查,三层协同意味着三层交互都要排查
EP端点填入接收缓存到DMA引擎后,如果释放QP,填入到引擎中的脏地址处理。以及 填入到引擎中的SG管理(这个到不算难点,配套的东西)。
声明:本文仅代表作者观点,不代表本站立场。如果侵犯到您的合法权益,请联系我们删除侵权资源!如果遇到资源链接失效,请您通过评论或工单的方式通知管理员。未经允许,不得转载,本站所有资源文章禁止商业使用运营!

下载安装【程序员客栈】APP
实时对接需求、及时收发消息、丰富的开放项目需求、随时随地查看项目状态
评论