双控存储、工控冗余、边缘设备互联这类场景中,两台主机需要在不经过网络的前提下高速交换数据、互相监测状态。传统做法走网口或串口,带宽低、时延高,还要额外占用网络配置和维护成本。某些 PCIe 交换芯片自带非透明桥能力,可以让两个独立主机域通过 PCIe 直连、各自保留独立的地址空间与操作系统。本项目即在此基础上实现双主机共享内存与中断通道,用于主备心跳、数据镜像与状态同步。
点击空白处退出提示
双控存储、工控冗余、边缘设备互联这类场景中,两台主机需要在不经过网络的前提下高速交换数据、互相监测状态。传统做法走网口或串口,带宽低、时延高,还要额外占用网络配置和维护成本。某些 PCIe 交换芯片自带非透明桥能力,可以让两个独立主机域通过 PCIe 直连、各自保留独立的地址空间与操作系统。本项目即在此基础上实现双主机共享内存与中断通道,用于主备心跳、数据镜像与状态同步。
驱动完成五类功能,整体功能为提供一个基于内核标准NTB框架的NTB设备与驱动,允许被标准的ntb client占用,驱动内的具体功能大概如下。
① 非透明桥模式初始化:AA与AP模式下 (单双NT) 的硬件基础配置。
② 链路状态管理:检测链路建立与断开、上报链路事件。
③ 内存窗口管理:配置出站与入站地址转换窗口,使对端主机可以读写本端指定的内存区域,并对窗口边界做检查。
④ 信令通道:实现门铃中断与便签寄存器的收发,用于通知对端取数据、交换启动参数与状态标志。
⑤ 对接内核标准 NTB 框架:向上暴露统一接口,可直接用上游测试工具做端口发现、门铃逐位验证、窗口读写比对与带宽压测。另提供 sysfs 节点,
用于查看链路状态、窗口占用情况与收发计数。
1 全权负责
2 架构: 驱动以标准 PCI 设备驱动形式注册。probe 阶段完成寄存器块定位、非透明桥模式使能、窗口与中断初始化,随后向 NTB 框架注册设备。内部分四个子模块:寄存器访问层负责统一读写封装并兼容同系列不同型号的偏移差异;窗口管理负责出站/入站窗口的分配、地址转换与边界检查;信令模块负责门铃与便签寄存器收发;链路与中断模块负责链路状态检测、MSI-X 向量分发与异常处理。上层通过框架调用,不直接接触寄存器地址。
3 亮点: 主要是将私有NT抽到内核标准NTB框架下,为client屏蔽了硬件部分的具体操作,同时提供sysfs作为暴露计数和调试。
4 难点:挺多,但是不算芯片本身问题与相关问题排查的话,多数集中在对芯片寄存器与芯片手册的理解上。 理解到位了难度并不是很大。 非芯片相关的只有中断上下半部的处理时序有点复杂。



评论