具身智能统一执行框架：低成本推理与学习闭环

一、从“能够完成演示”走向“能够持续迭代”

让通用大模型观察环境、拆解任务并调用机器人执行动作，是具身智能的一条重要技术路线。它将模型在语言理解、视觉分析和程序规划方面的能力，延伸到具有空间约束、动力学约束和安全风险的物理环境中。

但一次成功的抓取演示，并不代表系统已经具备稳定的工程价值。面对物体位置变化、遮挡、执行偏差或指令歧义，系统必须持续回答三个问题：当前发生了什么，下一步应该做什么，以及动作执行后是否真正达成目标。

这使机器人任务天然成为一个闭环过程：

任务指令 → 环境观察 → 状态判断 → 动作规划 → 受控执行 → 结果验证 → 继续规划或结束。

如果每接入一种机器人，都要重新编写观察逻辑、动作接口、错误处理和数据记录代码，研究工作就容易被环境适配消耗。不同实验之间也难以保持一致，模型能力与工程实现的影响混杂在一起。

因此，具身智能需要的不只是一个“会规划的模型”，还需要一套统一执行框架：将模型、机器人、仿真环境、评测流程和训练数据连接起来，使实验能够重复开展，使失败能够被分析，使交互经验能够被利用。

二、统一执行框架究竟统一什么

统一执行框架可以理解为具身智能系统的运行底座。它不直接替代模型，也不替代机器人控制器，而是明确各组件之间的职责、数据格式与执行边界。

1. 统一观察协议，而不是强行统一所有传感器

不同环境能够提供的信息差异很大。有的只有单路图像，有的同时具备深度信息、末端位姿、关节状态和接触反馈。

合理的做法不是要求所有环境提供完全相同的数据，而是建立“公共字段加能力声明”的观察协议。例如，一次观察可以包含：

• 观察时间与数据有效期；
• 相机视角及对应图像；
• 机器人当前状态；
• 任务阶段与历史事件；
• 当前可用传感器及其缺失情况；
• 数据置信度或异常标记。

其中，时间信息尤其重要。机器人在运动过程中，不同传感器可能具有不同采样频率和传输延迟。如果模型把较早的图像与较新的机械臂状态当成同一时刻的信息，就可能形成错误的空间判断。

因此，观察数据应具有明确的时间语义。需要融合多源信息时，应由状态估计或同步模块处理，而不是默认模型能够自行消除所有时序误差。

2. 统一动作语义，但保留能力差异

“移动到目标附近”和“设置每个关节的运动目标”属于不同抽象层级。若把它们混在同一接口中，模型难以判断应该承担多少控制责任。

更稳妥的设计是按层次组织动作：

• 任务层动作：表达需要完成的目标，例如将目标物体放入指定区域。
• 技能层动作：表达经过封装的操作，例如抓取、放置、观察或重新定位。
• 运动层动作：表达受约束的位姿变化、轨迹执行或关节运动。

统一接口的重点是保证语义清晰，而不是让所有机器人假装拥有相同能力。例如，不具备力反馈的设备，不应向模型暴露依赖精确接触力判断的技能。

3. 统一结果反馈，而不是只返回“成功或失败”

动作调用完成，不等于任务完成。控制器接受了指令，也不意味着物体已经被正确移动。

执行结果至少应区分：

• 指令是否合法；
• 动作是否开始执行；
• 控制过程是否正常结束；
• 动作预期效果是否得到验证；
• 当前环境是否允许继续尝试。

例如，抓取动作正常结束，但夹持器中没有物体，应被记录为“动作已执行、目标效果未达成”，而不是笼统地标记为成功。

这种细分不仅有利于在线纠错，也能避免后续训练数据把错误行为当成有效经验。

三、模型负责决策，控制系统负责确定性执行

具身系统容易出现的一种设计误区，是让大模型直接承担高频、连续的底层控制。

大模型推理通常具有可变延迟，其输出也可能存在不确定性。机器人控制则要求明确的时序、约束和故障处理能力。两者适合承担不同职责。

1. 高层决策与低层控制分离

模型更适合处理目标理解、任务分解、异常解释与策略选择。运动规划、轨迹跟踪、碰撞检查和紧急停止，则应交由专门的控制与安全模块承担。

一个较清晰的执行链路是：

模型生成动作意图 → 参数校验 → 可达性与安全检查 → 控制器执行 → 状态与效果验证。

这种分层不会削弱模型价值，反而能够让模型在更可靠的动作空间中工作，减少无效探索。

2. 安全约束不能只写在提示词里

提示词可以提醒模型避免危险动作，但不能替代运行时约束。

对于实体机器人，应根据具体设备和任务设置工作空间限制、运动约束、动作超时、碰撞保护及必要的人工确认机制。涉及人员接近、未知接触或高风险操作时，还应明确停止条件。

安全检查应位于模型之外，且不能被模型生成的内容直接绕过。模型可以提出行动建议，但不应拥有自行取消安全边界的权限。

3. 连续失败必须触发策略变化

如果模型反复执行同一个失败动作，即使每次调用都很便宜，也会形成高成本、低收益的循环。

执行框架应记录失败类型和重复次数。当出现连续抓空、目标定位不稳定或路径不可达时，系统应切换到重新观察、调整视角、重新规划或请求人工介入，而不是无限重试。

四、低成本来自系统设计，而不只是模型单价

讨论低成本具身推理时，不能只比较单次调用价格。一个模型虽然单次推理便宜，却可能需要更多观察、更长的交互历史和更多失败重试。

更有意义的指标是：

单位成功任务成本＝完成一组任务的累计成本÷成功任务数量。

累计成本可以根据使用场景纳入模型推理、计算资源、设备占用、仿真运行和人工接管等部分。不同方案比较时，必须说明成本边界，避免只计算有利于某一方案的项目。

1. 减少没有决策价值的重复观察

机器人执行稳定动作时，不一定需要在每个时刻重新请求模型判断。可以根据动作阶段和异常事件安排观察：

• 动作开始前，检查环境是否满足前置条件；
• 动作过程中，由控制系统监测状态；
• 动作结束后，验证目标效果；
• 出现偏差时，再触发额外观察与重新规划。

这样既能减少冗余调用，也能避免为了节省调用而忽略关键变化。

2. 将长历史压缩成结构化任务状态

长任务持续传入全部历史，容易增加推理开销，也可能使模型被早期无关信息干扰。

一种常见思路是将历史整理为结构化状态，包括已完成步骤、目标当前位置、失败动作、当前约束和待验证事项。

但状态压缩必须保留信息的新旧关系。例如，“杯子位于桌面左侧”如果来自较早观察，就不应被当作永久事实。摘要需要注明观察时点，并在环境变化后重新验证。

3. 按任务难度分配推理资源

并不是所有决策都需要同样复杂的推理。

对于已知环境中的常规操作，可以优先使用较轻量的决策流程；对于目标歧义、复杂遮挡或连续失败场景，再增加观察、计算或人工审核资源。

这种分级策略的前提是存在可测量的升级条件，而不是仅凭模型自行判断“我是否有把握”。可采用的信号包括目标识别冲突、动作验证失败、规划不可行和异常状态持续出现等。

五、怎样评测，才能避免“分数提高、系统却没有变好”

具身任务的效果高度依赖环境、动作接口和评测预算。若比较条件不一致，很难判断差异究竟来自模型能力，还是来自系统为其提供了更多便利。

1. 对齐实验条件

至少应明确以下内容：

• 任务集合与初始状态分布；
• 模型能够获得的观察信息；
• 可调用动作及其抽象层级；
• 最大执行时长和交互次数；
• 失败重试与人工介入规则；
• 成功判定方法；
• 推理与设备成本的统计范围。

尤其需要避免让一种方案调用完整抓取技能，而另一种方案只能输出底层动作，再把结果差异全部归因于模型推理能力。

2. 不只看成功率，还要看稳定性与风险

一个完整的评测至少应覆盖四类指标。

任务效果指标：成功率、完成质量、阶段性目标达成情况。

效率指标：任务耗时、模型调用次数、累计推理开销、单位成功任务成本。

可靠性指标：多次运行波动、异常恢复能力、人工接管比例。

安全指标：约束违规、危险动作拦截、异常接触和紧急停止情况。

对于有限样本实验，应报告任务数量和重复次数，必要时给出不确定性范围。不能仅凭少量成功案例就推断系统具有普遍泛化能力。

3. 通过组件对照分析真正的收益来源

当统一执行框架带来性能提升时，应进一步区分改进来自哪里。

可以分别考察结构化记忆、效果验证、技能封装、上下文压缩和重试策略的影响。这样才能判断系统是在改善模型决策，还是仅仅通过更强的工程封装降低了任务难度。

两种改进都有价值，但技术结论应与证据一致。

六、从交互轨迹到训练数据，闭环如何建立

机器人每次尝试都会留下经验，但经验不会自动变成学习收益。只有经过规范记录、质量检查和数据治理，交互轨迹才可能用于后续优化。

1. 轨迹需要保留可解释的因果链

一条有价值的轨迹，应能够回答：

• 当时收到了什么任务？
• 模型看到了哪些信息？
• 模型选择了什么动作？
• 哪些动作通过了安全检查？
• 控制器实际执行了什么？
• 动作产生了什么效果？
• 任务最终如何结束？

此外，还应记录模型版本、提示配置、环境版本、技能版本和关键随机因素，便于复现与归因。

2. 区分“决策失败”和“执行失败”

同样是未抓到物体，原因可能完全不同：目标定位错误、抓取姿态不合理、路径受阻、夹持条件不满足，或硬件执行偏差。

如果所有失败都被统一标记为“模型能力不足”，后续训练可能优化错方向。反过来，如果把模型规划错误全部归结为硬件问题，也会掩盖真实短板。

因此，轨迹分析应尽可能分离感知、规划、控制和验证环节的责任。

3. 训练数据不能只保留成功样本

成功轨迹有助于学习有效行为，失败轨迹则有助于理解边界与恢复策略。

但失败样本必须经过整理：明确失败发生在哪一步，是否存在可用的恢复动作，以及哪些行为不应被模仿。未经筛选地把所有交互直接用于训练，可能强化重复试错、错误判断或危险动作。

同时，训练数据与评测数据应合理隔离。对任务、物体布局或环境配置高度相似的轨迹进行去重与分组，有助于降低数据泄漏带来的虚高结果。

4. 新模型必须经过回归验证

即使模型权重可训练，也不意味着训练后的版本一定更好。新版本可能提高某类任务表现，却降低另一类任务的稳定性。

因此，模型更新应经过离线分析、仿真验证和受控实体测试，并保留回退机制。尤其对于安全相关行为，应检查更新后是否出现新的动作偏差。

七、面向开发团队的渐进式落地路径

搭建具身系统时，不宜一开始就追求跨设备、跨场景和端到端学习的全部目标。更现实的方法是按可验证的阶段推进。

第一阶段：建立单环境最小闭环

选择任务边界明确、风险较低的环境，先打通观察、决策、执行、验证和日志记录。此时重点不是追求最高成功率，而是让每次失败都能够被解释。

第二阶段：固化协议与安全边界

将观察格式、动作语义、错误分类和停止规则固定下来。先把接口做稳定，再增加任务复杂度，避免上层策略长期依赖临时约定。

第三阶段：增加环境适配与成本治理

在统一协议下接入新的环境，检查哪些能力可以复用，哪些差异必须显式声明。同时统计调用成本、等待时间和重复动作，定位真正的资源消耗点。

第四阶段：建设轨迹治理与训练流程

当系统已经能够持续产出结构化、可追溯的数据后，再开展轨迹筛选、行为学习与模型迭代。否则，过早积累大量低质量数据，往往只会增加存储和清洗负担。

结语

具身智能的核心竞争力，不只是模型能否生成一个看似合理的动作，而是系统能否在真实约束下完成任务、发现错误、控制成本，并将经验转化为可验证的改进。

统一执行框架的价值，在于把这些能力组织成清晰的工程体系：用协议降低接入复杂度，用分层控制保障执行可靠性，用一致评测识别真实收益，用轨迹治理支撑持续学习。

当观察、决策、执行、验证和训练形成闭环，机器人能力才有机会从一次性的演示，走向可复现、可维护、可持续优化的技术实践。