1、立项原因：当前机器人操作模型面临“数据割裂、能力拆分、执行盲目”三大核心困境。真机遥操作数据动作精准但采集成本极高、场景单一；人类第一视角视频场景丰富但缺少机器人可执行的关节动作信号；传统模型架构将策略生成、视觉仿真、动作评估相互独立，无法共享表征，难以实现长时序、精细化操作。τ0-WM旨在通过统一视频-动作世界模型框架，让机器人在执行前先“预演”动作后果，实现从“看见后反应”到“想过后行动”的跨越。
2、行业场景与业务背景：具身智能正从实验室走向真实场景部署，家庭服务、工业分拣、商超理货等场景对机器人的操作精度和泛化能力提出极高要求。τ0-WM通过约27,300小时异构数据预训练，围绕动作预测、未来状态模拟和部署阶段动作优化构建完整系统，在AGIBOT-G01、ARX、Franks三种不同构型机器人上完成验证，为具身智能基础模型的工程化落地提供了可复现的开源路径。
1、项目包含以下核心功能模块：视频动作模型（VAM）模块、动作条件视频仿真器（ACVS）模块、测试时计算（TTC）推理模块、低质量动作修正（LAR）模块、多源异构数据训练管线。
2、主要功能描述：VAM模块以共享视频扩散骨干网络（Wan-2.2-TI2V-5B）为基础，接收多视角观测、语言指令和机器人状态，通过层间交叉注意力机制同时预测未来视觉隐变量和连续动作块。ACVS模块将候选动作块展开为多视角未来画面，并基于子任务进度标签和失败数据预测密集任务进度评分。推理阶段采用“提议-评估-修正”三步流程：首先由VAM采样多组候选动作，然后用RCS指标对候选动作排序，对低质量候选调用ACVS仿真器进行rollout评估，最后通过LAR机制将高价值未来的隐变量注入VAM生成修正动作。模型支持双推理模式——极速模式仅输出动作（~220ms/query），仿真模式解码未来视频画面供可视化调试。
1、“我”负责的具体任务：基于τ0-WM开源框架，完成VAM和ACVS模块的部署与环境搭建，跑通多源异构数据的预处理与训练管线；在AGIBOT-G01机器人构型上完成Toolbox和Badminton两个长程精细操作任务的推理验证，复现“提议-评估-修正”三阶段推理流程；对RCS评估和LAR修正策略进行消融实验，验证测试时计算对任务成功率的提升效果。
2、技术栈与实现亮点：项目采用PyTorch作为深度学习框架，Diffusers库管理视频扩散模型，CUDA进行GPU加速推理。核心架构亮点在于共享视频扩散骨干的设计——VAM和ACVS共享同一视频DiT表征，使视频预测成为控制相关的训练目标，动作分支通过层间交叉注意力从中间视频表征中提取可执行控制信号，而非简单的条件拼接。关键技术难点在于测试时计算的工程优化：RCS评估仅需K次动作分支前向传播（不涉及视频分支），计算开销极低；LAR修正需要ACVS完整rollout，延迟增加1-2秒，因此采用缓存文本表示和torch.compile等工程手段将纯动作模式延迟从220ms优化至140ms。部署硬件为单张RTX 5090，支持依据端侧算力动态调整候选轨迹数量和推演步数，在保证成功率的同时平衡执行效率。
评论