openarm全身遥操+数据采集+模型训练产品系统

我要开发同款
逆熵人Nentro2026年11月16日
4阅读

技术信息

语言技术
C++、Python、UE、Unity3D
系统类型
Linux、算法模型
行业分类
机器人、开发工具

作品详情

行业场景

面向服装厂流水线中的重复性模块,训练机器人探索如何高效采集流水线中的部分任务数据并拆分成一个个简单的可训练任务,并实机部署进行测试,提供一套可规模化的机器人自动化解决方案。
依托开源的 OpenArm 平台,构建了一套从“遥操作”到“自主执行”的端到端流程。项目以“折叠衣物”作为典型的“可变形物体操作”任务,该任务要求具备双臂协同控制能力、持续的视觉反馈,并能适应物体形态的不断变化。该系统集成了人体动作捕捉、沉浸式 VR 遥操作、多模态数据同步采集、标准化数据集处理以及模仿学习等技术。其核心价值在于构建了一套可复用的机器人训练基础设施,注重策略开发的可复现性。
该架构与 OpenArm 开源机器人生态系统,以及 Hugging Face LeRobot 的“记录—训练—部署”工作流程相契合。
同时验证agent开发工作流在项目规划,设计,开发,测试,部署的高效工作流。

功能介绍

1.开发了一套人机动作控制流程,将可穿戴动作捕捉设备采集的数据映射至 OpenArm 机器人的双机械臂及移动底盘上。该程序通过坐标变换、运动学计算及动作重定向,将操作员的动作转化为机器人可执行的指令。
2.利用 Meta Quest 3 头显及配备伺服驱动装置的 RealSense 深度相机,实现了一套第一人称视角的遥操作界面。头显捕捉到的头部偏航角(yaw)和俯仰角(pitch)数据被传输至机器人端,用于控制相机的水平转动(pan)和垂直俯仰(tilt)。同时,相机将实时视觉画面回传至头显,从而实现沉浸式的远程感知体验。
3. 多模态数据同步采集
构建了一套记录流程,用于捕获人类演示机器人操作时的轨迹数据。该采集系统可收集末端执行器状态、双臂电机遥测数据以及 RealSense 相机的观测信息。系统将这些异步数据流对齐至统一的时间轴上,以保留视觉输入、机器人状态与执行动作之间的关联。
4. 数据处理与 LeRobot 集成
开发了一套预处理工作流程,将原始演示数据转换为可直接用于机器学习的数据集。数据处理流程涵盖时间戳对齐、无效样本过滤、轨迹一致性检查、数值归一化以及片段组织。处理后的观测数据和动作会被转换为标准化的 Hugging Face LeRobot 数据集格式。
5.构建了一套模仿学习工作流程,利用收集到的 OpenArm 演示数据以及互补的开源机器人数据集进行训练并真机测试。训练流水线将视觉观测数据和机器人状态特征作为模型输入,并以演示中的机器人动作作为监督信号。在动作空间、观测模式和任务定义兼容的前提下,引入外部数据集可增加训练数据的多样性。训练用到的基础策略有ACT和pi0

项目实现

设计了一种模块化架构,将运动捕捉、VR 感知、数据采集及策略学习组件相互分离。实现了位姿坐标转换、关节指令生成以及双向摄像机追踪。相关的 OpenArm 集成接口包括:用于 CAN/CAN-FD 电机通信的 `openarm_can`,以及用于 ROS 2 控制和运动规划集成的 `openarm_ros2`。
开发了具备时间戳感知功能的记录与预处理逻辑,旨在对电机状态、末端执行器轨迹及摄像机观测数据进行对齐)。将演示数据整理为可复用episodes,并转换为 LeRobot 兼容的数据集格式。相关开源工具包括 RealSense `librealsense` SDK、Python、PyTorch、Hugging Face LeRobot 以及 OpenArm 的数据集转换工具。主要工程挑战在于时间对齐、数据一致性,以及确保“动作-观测”对应关系的完整性。
将自定义演示数据与兼容的开源数据集进行整合,解决了机器人运动学、特征模式及动作表征方面的差异。训练并部署了一套运动策略,用于实际的衣物折叠实验。主要挑战包括:可变形物体的多变性、遮挡问题、精确的双臂协同,以及在模型驱动控制下保持执行过程的稳定性。

基于Agent辅助的工程工作流。开发流程围绕明确的模块接口、简洁的上下文规范以及可独立测试的任务来构建。基于智能体的编码工作流支持集成适配器、数据转换脚本、验证测试及技术文档的生成与重构。可复用的配置模板、处理工具和实验记录,有效减少了重复性工作,并保留了开发上下文。涉及硬件层面的变更需经过人工审核与物理验证。

示例图片

声明:本文仅代表作者观点,不代表本站立场。如果侵犯到您的合法权益,请联系我们删除侵权资源!如果遇到资源链接失效,请您通过评论或工单的方式通知管理员。未经允许,不得转载,本站所有资源文章禁止商业使用运营!
下载安装【程序员客栈】APP
实时对接需求、及时收发消息、丰富的开放项目需求、随时随地查看项目状态

评论