本项目主要针对工业机器人、高频交易或航空航天仿真等对实时性要求极高的场景。在传统的神经网络训练中,软件端(Python)往往难以实时处理传感器产生的海量高频数据。立项旨在利用 FPGA 的并行处理能力进行前端数据预处理与硬件加速,通过高性能通讯接口与 Python 端进行数据交换,从而实现 SAC(Soft Actor-Critic)强化学习算法 在动态、复杂环境下的实时在线训练与推理,解决传统架构在闭环控制中的高延迟瓶颈。
点击空白处退出提示
本项目主要针对工业机器人、高频交易或航空航天仿真等对实时性要求极高的场景。在传统的神经网络训练中,软件端(Python)往往难以实时处理传感器产生的海量高频数据。立项旨在利用 FPGA 的并行处理能力进行前端数据预处理与硬件加速,通过高性能通讯接口与 Python 端进行数据交换,从而实现 SAC(Soft Actor-Critic)强化学习算法 在动态、复杂环境下的实时在线训练与推理,解决传统架构在闭环控制中的高延迟瓶颈。
FPGA 数据采集与加速模块: 基于 Verilog/VHDL 开发,负责多路传感器数据的同步采集、硬件滤波及特征提取,确保原始数据在纳秒级完成预处理。
高带宽实时通讯接口: 采用 PCIE 或万兆以太网协议,开发了定制化的驱动程序,实现了 FPGA 硬件缓冲区与 Python 内存空间的低延迟直连。
Python 端 SAC 算法框架: 基于 PyTorch/TensorFlow 构建 SAC 强化学习模型,支持连续动作空间的决策任务,并实现了经验回放池的高效存取。
软硬件协同监控界面: 实时可视化训练过程中的 Reward 曲线、FPGA 资源占用率及通讯时延指标,方便进行系统调优。
本人负责从底层的逻辑设计到上层算法训练的全栈开发。
技术栈: Vivado/Quartus, C++ (驱动层), Python, PyTorch, DMA, PCIE/UDP。
核心实现: 利用 DMA(直接存储器访问) 技术解决了软硬件通讯的带宽瓶颈;针对 SAC 算法设计了多线程异步架构,使数据采集与模型训练并行化。
难点攻克: 在实现过程中,最难点在于软硬件时序同步。通过在硬件端增加时间戳校验和在 Python 端优化多缓冲区机制,最终将端到端闭环延迟控制在 1ms 以内,极大提升了强化学习模型在实际物理设备上的收敛速度。





评论