Xunbu 多相机动作捕捉与手部跟踪系统产品系统

面向科研、虚拟数字人与影视预演领域。商用光学动捕设备价格昂贵、闭源且部署门槛高，现有方案在手部遮挡场景跟踪稳定性差。本项目搭建开源多相机手部动捕系统，为高校课题组、人形机器人团队提供低成本可二次开发的 3D 手部动作采集工具，用于手部数据集采集、机器人示教、虚拟人动画驱动，并配套真值校验能力，自研ai模型解决遮挡下手部跟踪失效的痛点。

搭建 Windows 多相机同步采集上位机，完成相机内外参标定、手背模板标定、多视角三角重建与点云调试；集成 IEKF 时序滤波、One-Euro 滤波与 HM20 手部骨架模型，实现鲁棒 3D 手部骨架跟踪、IK 关节解算；支持.pcrec 全链路录制回放、离线诊断，通过 UDP 协议输出骨骼数据对接 Unity，内置参数时间轴记录与回归测试工具，可重复部署验证实验。

独立使用 C++20、Qt6、CMake 开发整套上位机，基于 DirectShow/UVC 实现多相机同步采集；实现多视角几何、IEKF 状态估计与 HM20 手部模型推理，采用 ONNX Runtime 部署 AI 模型；开发 UDP 数据传输、Unity 对接模块与.pcrec 录制回放工具。核心难点是多相机时间同步、遮挡场景下的鬼点抑制、时序滤波优化，保证 3D 手部跟踪稳定可复现。