世界动作模型：用人类视频教会机器人零样本操作

一、为什么需要世界动作模型：具身智能的数据困境

机器人操作学习的核心矛盾在于数据。与互联网文本、图像不同，机器人真机数据必须通过遥操作、人工示教或随机探索在物理世界中采集，单条轨迹成本高昂：需要人工遥操作、设备占用、场景复位，且采集效率受物理时间硬性限制。行业普遍经验是，训练一个泛化性尚可的操作策略往往需要数千乃至数万条高质量真机轨迹，而一旦更换任务或更换本体，数据几乎要推倒重来。

反观人类侧，互联网上沉淀了海量第一人称与第三人称操作视频（烹饪、组装、使用工具等），这些数据天然蕴含“如何完成任务”的先验知识。问题在于：视频只提供“看”，缺少“做”——即关节级的动作信号。世界动作模型的思路，正是把两类数据缝合起来：用大规模人类视频学习视觉、语义与物理动态的世界先验，用动作捕捉设备补齐动作流，让模型在预训练阶段就“看懂并记住”人类如何操作，再通过少量真机数据完成从人到机器的迁移。

近期某研究团队发布的世界动作模型是该路线的代表性实践：其预训练语料超过220万小时人类经验数据，结合公开人类操作视频与穿戴式数据手套采集的人手动作序列，直接输出可执行的机器人动作，并在未针对测试任务采集任何真机示范数据的条件下完成了600次真机测试。本文以其公开结果为案例，拆解这一技术路线的关键环节。

二、技术路径拆解：从人类视频到机器人动作

2.1 预训练数据的三层构成

一条完整的人类操作经验可分解为三个层次：

• 视觉观测层：场景图像或视频流，提供物体外观、空间关系与任务上下文；
• 语义任务层：任务指令与子目标描述，将“把杯子放到架子上”这类自然语言指令映射为可执行的子任务序列；
• 动作执行层：人手与手臂的位姿序列，即人类解决该任务时实际采取的运动轨迹。

传统视频生成式的世界模型主要覆盖前两层，能够“想象”画面如何演变，却难以直接输出机器可执行的动作。世界动作模型的关键增量在第三层：通过数据手套等设备同步记录手部关节角度、腕部位姿与抓取状态，把“人手怎么动”变成与视频帧严格对齐的稠密监督信号。模型由此学到的是“给定这样的画面，人类的手下一步会怎么动”——这与机器人“给定观测、输出动作”的控制问题在结构上同构，迁移因此成为可能。

2.2 手部动作采集与重定向

人手到机器人执行器的映射（动作重定向）是该路线的工程核心。人手有二十余个自由度，而常见机器人末端为二指夹爪或灵巧手，结构差异显著。通用处理方式可示意如下：

def retarget(hand_frame, robot):
    """人手姿态到机器人动作空间的映射（示意）"""
    ee_pose = hand_frame.wrist_pose()      # 腕部位姿 → 末端目标位姿
    gripper = hand_frame.closure_ratio()   # 手指闭合程度 → 夹爪开合度
    q = robot.solve_ik(ee_pose)            # 逆运动学求解关节目标
    return smooth(q), clamp(gripper)       # 轨迹平滑与行程限幅

重定向需要解决三件事：腕部位姿到末端执行器位姿的坐标变换、手指闭合状态到夹爪开合度的标量映射、以及经逆运动学求解后的轨迹平滑。经过这一步，数据手套采集的人类操作数据即可“翻译”成机器人可执行的动作序列，成为与真机数据同构的训练样本。

2.3 跨本体与跨任务的泛化设计

为让一套预训练权重服务不同机器人，动作表征通常做本体无关化处理：将动作统一表达在末端执行器坐标系（位姿增量加夹爪状态），而非特定本体的关节空间，推理时再由各本体底层控制器负责逆解。这种设计带来两个直接收益：一是预训练阶段积累的人类操作先验可被任意本体复用；二是新本体接入只需少量适配数据，无需重新预训练，跨任务、跨本体的泛化能力由此获得结构性保障。

三、零样本真机评估：任务设计与结果解读

评估“零样本泛化”的关键是避免任务泄漏——若测试任务恰好是训练中见过的任务，成功率便不再说明泛化能力。前述团队的测试设计有一个值得借鉴的细节：测试任务集由大模型随机生成，涵盖三类共60项任务——抓取放置（PnP）、短程非抓取放置、多步骤非抓取放置，每类20项、难度递增；每项任务真机执行10次，共600次测试，且不为测试任务专门采集示范数据。

结果呈现了清晰的难度梯度：

• 总体成功率36.0%；
• 抓取放置类63.5%；
• 短程非抓取放置34.0%；
• 多步骤非抓取放置10.5%。

三个信息点值得注意。其一，抓取放置这类结构化任务已具备较高可用性，说明模型对“接近—对齐—闭合—放置”的基础操作原语掌握较好。其二，非抓取类任务（推、拨、滑动等接触丰富操作）成功率下降近一半，因为此类任务对接触力、摩擦与滑动动力学的感知要求远高于抓取，而人类视频中的接触细节恰恰最难被观测和重定向。其三，多步骤任务成功率骤降至约十分之一，误差在长程任务中逐步累积——即使单步可靠性达九成，十步串联后也仅剩约三成，这提示长程任务的瓶颈不在单步策略，而在子目标分解与误差恢复机制。

四、对照实验：通用大模型直接控制的瓶颈

在同一任务集上，该团队引入一个前沿通用多模态大模型直接控制机器人作为对照：每项任务测试3次，整体成功率仅5%，三类任务分别为8.3%、5.0%和1.7%。更值得关注的是效率指标：单次决策平均推理耗时87.3秒，成功任务平均完成时间17.8分钟。

这组对照说明，通用大模型“知道怎么做”与机器人“做得好”之间存在系统性鸿沟，具体体现在三个层面：

• 动作精度：大模型输出的通常是高层语义动作（如“拿起杯子”），缺少操作原语级的位姿与力控精度，抓取容差极小的任务难以完成；
• 连续执行：操作是高频闭环控制，而大模型按“感知—推理—输出”的低频节奏工作，难以维持轨迹连续性；
• 推理延迟：单步87秒的延迟在动态环境中足以让场景失效，也大幅拉长任务完成时间。

结论并非否定大模型的价值，而是明确分工：大模型适合承担任务理解、子目标规划与异常处置；毫秒级的连续控制应交给端侧策略模型或世界动作模型承担，二者构成“慢思考加快执行”的分层架构。

五、数据配比实验：人类数据的价值量化

另一组实验回答了“人类数据到底能替代多少真机数据”：在训练集中混入数据手套采集的人类操作数据后，即使真机数据减少75%，模型表现仍优于仅用完整真机数据训练的基线。

这一结果对工程决策的意义是直接的。真机数据与人类数据的采集成本相差一个数量级以上，若四分之一的真机数据加适量人类数据即可达到甚至超过全量真机数据的效果，那么数据建设的优先级就应当重排：先建设规模化的人类动作采集能力（数据手套、动作捕捉、视频理解管线），再以真机数据完成最后的本体适配与分布校正。这也与业界讨论的“数据金字塔”结构一致——底层是海量互联网视频与人类操作数据，中层是遥操作与仿真数据，顶层才是针对具体任务的本体真机数据。

六、工程落地参考：数据、训练与评估流水线

对计划跟进该路线的团队，可按以下流水线组织工作：

数据侧：人类视频按任务语义聚类清洗，保留第一人称视角与手部清晰的片段；动作采集以穿戴式数据手套加腕部追踪同步记录关节角与腕部位姿，并与视频帧时间戳对齐；真机数据仅需少量遥操作轨迹，覆盖目标工作空间与物体类别即可。

训练侧：大规模视频—动作联合预训练对算力与数据基础设施要求较高，通常需在云端GPU集群上完成。工程上可借助云平台的容器服务编排分布式训练任务，海量视频与动作序列存放在对象存储中按需挂载，训练过程通过日志服务与监控告警保障长周期任务稳定。国内团队也可直接使用百度智能云提供的GPU算力、容器平台与对象存储等产品组合搭建训练流水线，避免自建机房的重资产投入。

评估侧：建议建立“生成式基准加固定基准”双轨制——用大模型随机生成任务集防止任务泄漏，同时保留一组固定任务用于版本间回归对比；每任务多次重复并报告分层成功率，而非只看总体均值。

七、挑战与展望

从公开结果看，世界动作模型路线仍面临三类开放问题：一是接触丰富操作，非抓取任务的成功率瓶颈指向触觉感知缺失，未来需将力觉与触觉信号纳入预训练表征；二是长程任务，多步骤成功率随步数显著衰减，需要引入子目标生成、技能库调用与失败检测恢复机制；三是安全约束，零样本部署意味着策略必然遭遇分布外状态，动作空间的边界约束与安全滤波器是上线前的必要组件。

整体来看，“用人类经验数据预训练、用少量真机数据适配”的范式，正在把机器人操作学习从“每个任务手把手教”推向“预训练加微调”的基础模型模式。随着人类动作采集设备的普及与跨本体表征的成熟，世界动作模型有望成为具身智能时代的数据飞轮起点：人类活动越丰富，可学习的数据就越多，机器人的通用操作能力也就越强。