具身智能正从“预编程自动化”转向“端到端视觉-语言-动作（VLA）模型驱动”，但行业落地卡在两个现实问题上：一是商用机械臂与算力成本高，中小企业和高校实验室缺少可低成本验证的试验平台；二是模型在真机上跑不稳——推理延迟、动作衔接、控制频率不匹配等问题在仿真里暴露不出来，导致“实验室能跑、产线不能用”。本项目在 SO101 这类低成本开源机械臂上验证完整的 VLA 落地路径，为机器人厂商、科研团队、教育实训场景提供可复制的低成本方案，也为后续 sim2real 与量产部署提供工程经验参考。
1. 遥操作数据采集：基于 LeRobot 主从臂方案录制示范数据，支持双路相机（腕部+正面，640×480@30fps）同步采集，数据自动编码为视频格式存储，可扩展至多任务数据集。
2. 模仿学习训练：以 smolVLA 轻量级 VLA 模型为策略，语言指令条件化训练（如“将 E 方块抓入白框”），支持从 checkpoint 断点续训，本项目训练至 13000 步。
3. 实时推理部署：提供 sync 与 RTC 两种推理策略——sync 执行完整动作块、轨迹平滑但反应慢；RTC 后台持续推理、实时纠错，适合动态环境。支持 execution_horizon、guidance_weight、控制频率等参数在线配置。
4. 延迟监控与调优：内置推理延迟对账（计划延迟 indexes_diff vs 实际延迟 real_delay），输出告警辅助定位“动作与观测不同步”问题，配合参数自适应实现稳定抓取。
在低成本开源机械臂上完成「遥操作采集 → smolVLA 模仿学习 → RTC 实时推理」全闭环。核心亮点：独立定位并解决 RTC 策略下轨迹顿挫与精度下降问题——通过延迟对账（indexes_diff vs real_delay）、execution_horizon 与控制频率匹配、fps 适配三级调优，在 15fps/900ms 推理延迟的苛刻条件下实现稳定抓取。产出完整踩坑文档（环境搭建→数据→训练→部署→排查，可直接交付同款方案）。
评论