面向无人机追踪的嵌入式视觉系统设计与硬件加速研究开源项目

面向无人机追踪的视觉系统在安防等领域具有重要应用价值。但高空视角下目标微小且密集，对检测算法的定位精度要求较高。同时，嵌入式平台受限于算力与带宽瓶颈，难以满足复杂深度学习模型的实时推理需求。在传统部署中，全量INT8量化易导致微小目标定位精度下降，而全量FP16推理则面临系统帧率过低的问题。
针对上述部署痛点，本文基于YOLO26s模型，设计了一套异构硬件加速部署方案。算法层面，提出算子级混合精度量化策略：将主干网络与分类分支量化为INT8格式以降低带宽压力并提升NPU利用率；将坐标解码算子保留在FP16精度，有效改善了微小目标定位框的抖动与漂移现象。系统工程层面，采用C++构建异步多线程并发架构，引入RGA硬件引擎分担CPU的图像预处理负载，结合DRM内存映射实现异构单元间的零拷贝交互。此外，设计乱序重排缓冲区与队列背压机制，实现了NPU三核算力的均衡调度。
基于VisDrone数据集的实验评估表明，本方案在保持较好微小目标召回率的前提下，有效缓解了端侧I/O与内存调度瓶颈。系统端到端吞吐量从初始纯 CPU 环境的 0.71 FPS，跃升并稳定在 30.48 FPS，实现了约 42 倍的绝对性能提升。本研究在算法精度与边缘设备算力之间取得了较好平衡，为视觉追踪模型在资源受限平台上的落地提供了一定的工程参考。