从会指路到能协作：大模型驱动机器人行动的关键

一、问题的核心：机器人缺的不是一句指令

当人们说“大模型控制机器人”时，容易把系统想象成一个简单链路：用户发出自然语言指令，模型理解意图，再输出移动方向或动作命令。但真正进入开放环境后，机器人面对的往往不是单一动作，而是一组连续变化的问题：

• 我现在位于什么位置？
• 周围有哪些可通行区域、障碍物和动态目标？
• 当前任务的最终目标是什么，中间需要经过哪些地点？
• 如果原定路线被阻断，是否应该绕行、等待，还是请求其他机器人协助？
• 视觉信息、地图信息和历史记忆发生冲突时，应该相信哪一种？
• 机器人已经完成了多少任务，下一步是否需要重新规划？

因此，大模型的价值并不只是“听懂一句话”，也不只是“给出一个方向”。更重要的是，它能够参与任务分解、环境理解、策略选择、异常分析以及系统迭代，把分散的感知、规划和执行能力组织成一条相对完整的行动链路。

这也是 Agent Harness 的意义所在。这里的 Harness 可以理解为围绕大模型搭建的一套任务运行框架，包括上下文管理、工具调用、状态同步、执行校验、错误恢复、权限控制和结果记录。模型负责进行高层推理与决策，Harness 则负责把推理结果约束在真实世界可执行的范围内。

二、人类找路依赖的不是定位，而是持续判断

人在陌生环境中导航时，并不会只依赖当前位置。人通常会同时利用地图、地标、道路结构、运动方向、目的地特征以及过去的经验进行判断。

例如，前往一个房间时，人会先确认自己在哪一层楼，再寻找通往目标区域的主通道；如果发现前方施工，会根据环境布局选择备用路线；如果同行者行动较慢，还会调整队伍速度，甚至重新分配任务。

机器人要完成类似过程，至少需要具备五类能力：

1. 环境感知

机器人需要从摄像头、深度传感器、激光测距设备或已有地图中获取环境信息。大模型可以帮助识别门、通道、楼梯、货架、人员、车辆等具有语义意义的对象，但不能直接替代底层定位和避障模块。

更合理的做法是：由专门的感知模块提供结构化结果，例如：

当前位置：区域A，靠近入口
可通行方向：东侧通道、南侧通道
动态障碍：南侧通道存在移动目标
目标对象：区域C内存在待搬运物品
地图置信度：中等

大模型基于这些信息进行推理，而不是直接从一段未经处理的传感器数据中生成电机控制信号。

2. 任务理解

“去仓库取一件物品”并不是完整的机器执行指令。系统还需要明确物品类型、目标区域、取放顺序、是否允许经过特定区域，以及完成后的回传要求。

大模型适合把自然语言任务转化为结构化目标，例如：

{
  "目标": "获取指定物品并送回起始区域",
  "约束": [
    "避开限制区域",
    "不得中断正在执行的搬运任务"
  ],
  "验收条件": [
    "目标物品被识别",
    "物品被稳定抓取",
    "物品返回指定位置"
  ]
}

这样做的好处是，后续模块可以检查任务是否完整，执行过程中也能判断当前动作是否仍然服务于最终目标。

3. 路径与策略规划

传统路径规划通常擅长在已知地图中寻找可行路线，但在复杂场景中，机器人还要理解“为什么走这条路”。例如，最短路径可能经过拥挤区域，最快路径可能需要等待，安全路径可能需要调用另一台机器人协助。

大模型可以承担高层策略规划，输出类似下面的决策：

1. 先前往中转区域；
2. 在中转区域确认目标物品位置；
3. 如果主通道畅通，则继续前进；
4. 如果主通道阻塞超过预设条件，则切换备用路线；
5. 若目标物品位于高处，则请求具备升降能力的机器人处理；
6. 完成抓取后返回交付点并提交任务结果。

具体的厘米级移动、速度控制和碰撞规避，仍应交给专用控制器完成。

4. 执行反馈

机器人不能把模型输出当成一次性答案。每个动作完成后，都需要反馈实际结果。例如，机器人发出“向前移动”的指令后，可能出现：

• 前方突然出现人员；
• 地面高度发生变化；
• 当前位置估计偏移；
• 目标没有出现在预期位置；
• 机械臂抓取失败；
• 通信暂时中断。

Harness 应该让模型看到这些变化，并在必要时重新规划，而不是沿用过期计划。

5. 结果验证

“模型说完成了”不等于任务真的完成。任务验收必须依赖可观察证据，例如位置变化、目标对象状态、传感器反馈、物品是否到位以及是否满足安全约束。

这要求系统把“计划”“执行”和“验证”明确分开。只有验证通过，任务才能进入完成状态；如果验证失败，应进入重试、回退或人工确认流程。

三、三个递进式案例：从单机导航到异构协作

案例一：通用环境中的语义导航

第一个典型任务是让机器人在陌生或半陌生环境中，根据自然语言前往目标位置。

与单纯的坐标导航不同，用户可能说的是“去靠近大门的休息区”“找到有蓝色标识的房间”，而不是提供精确坐标。机器人需要将语言描述映射到环境中的语义对象，再结合地图和实时观察完成移动。

这类任务的关键不在于模型是否能生成一条路线，而在于能否处理不确定性：

• 目标描述可能不完整；
• 同类对象可能存在多个；
• 地图可能已经过时；
• 观察结果可能受到遮挡；
• 通道可能临时关闭。

一个可靠的流程通常是：

1. 解析目标描述，提取地点、对象和约束；
2. 查询地图或环境记忆，生成候选目标；
3. 通过视觉观察确认候选目标；
4. 调用路径规划模块生成可执行路线；
5. 分段执行，并在关键节点重新观察；
6. 到达后验证是否满足目标描述。

如果多个候选目标都合理，系统不应擅自选择并持续执行，而应根据距离、环境风险和任务上下文进行排序，必要时向用户提出澄清问题。

案例二：动态环境中的异常恢复

第二类任务比普通导航更接近真实应用：环境会变化，原有计划随时可能失效。

例如，机器人准备通过一条通道，但传感器发现通道被临时占用。传统程序可能只能按照固定规则绕行，而引入大模型后，系统可以结合任务优先级判断：

• 目标是否具有时效性；
• 是否存在风险更低的备用通道；
• 等待是否比绕行更合适；
• 是否可以让另一台机器人从侧面完成任务；
• 是否需要通知调度系统或人工人员。

这时，Harness 要重点解决“上下文更新”问题。模型不能只看到最初的任务描述，还应看到：

原始目标：将物品送至交付区
当前状态：主通道阻塞
已耗时：处于正常范围
备用路线：可行，但需要经过人员密集区域
协作资源：一台搬运机器人处于空闲状态
安全限制：不得进入限制区域

模型据此选择策略后，系统仍需进行约束检查。比如，模型提出“进入限制区域寻找近路”，Harness 应直接拒绝该方案，并要求模型重新规划。

案例三：异构机器人协同作业

第三类任务涉及多台能力不同的机器人。它们可能分别擅长移动、搬运、升降、巡检或精细操作。此时，问题不再是“机器人如何到达目的地”，而是“如何让不同机器人共同完成一个任务”。

一个完整的协作过程可以拆成四层：

任务层

将总目标拆成若干子任务，例如定位物品、确认物品状态、执行搬运、完成交付和记录结果。

能力层

为每台机器人建立能力描述，包括可到达区域、负载能力、操作方式、当前电量、空闲状态和安全限制。

调度层

根据子任务要求选择合适的机器人，并处理资源冲突。例如，两项任务都需要同一台升降机器人时，应根据优先级、距离和截止要求进行排序。

协议层

机器人之间需要交换明确的信息，而不是只传递自然语言。消息至少应包含任务编号、当前位置、执行状态、预计完成时间、异常原因和所需帮助。

大模型可以参与任务分解和资源分配，但不应绕过调度约束直接向多台机器人下发互相冲突的动作。所有协作指令都应经过统一的任务管理器，由系统检查权限、资源占用和执行条件。

agent-harness-">四、Agent Harness 应该怎样设计

大模型在机器人系统中的可靠性，往往取决于外部框架设计，而不是单纯取决于模型本身。一个可落地的 Harness 至少应包含以下模块。

1. 状态管理器

统一维护任务状态、机器人状态、环境状态和异常状态，避免模型每次调用时只能看到零散信息。

2. 工具注册与调用层

将地图查询、路径规划、视觉识别、机械控制、任务分配和日志查询等能力封装为工具。每个工具都应明确输入格式、输出格式、权限和失败原因。

3. 计划执行器

把模型生成的高层计划转换为可执行步骤，并支持暂停、恢复、回退和重试。对于不可逆动作，应增加额外确认。

4. 约束与安全层

对速度、区域、碰撞风险、载荷、权限和动作顺序进行硬约束。模型可以提出方案，但最终能否执行由约束层决定。

5. 观察与验证层

每个重要动作都应有对应的验证条件。比如移动任务验证位置，抓取任务验证目标是否稳定，交付任务验证物品是否到达指定区域。

6. 记忆与复盘层

系统应记录哪些路线有效、哪些目标容易混淆、哪些工具调用经常失败，以及异常发生前后的环境状态。这些记录可以用于优化提示模板、调整工具描述和改进任务分解策略。

五、为什么模型越强，Harness 反而越重要

强模型能够处理更复杂的语言和环境信息，但也可能生成更长、更复杂、更难验证的计划。如果外部系统没有边界，模型能力越强，错误执行的影响范围可能越大。

因此，可靠系统需要遵循几个原则：

• 模型负责建议，系统负责裁决；
• 高层规划与底层控制分离；
• 每个动作都应有前置条件和验收条件；
• 不确定时优先澄清，而不是盲目执行；
• 失败必须可观测、可解释、可恢复；
• 协作任务必须统一调度，避免多个机器人互相抢占资源。

这也解释了为什么同一个模型在不同 Harness 中可能表现差异明显。好的框架能够提供清晰上下文、合适工具和严格反馈；不完善的框架则可能让模型面对过期状态、模糊接口和无法验证的结果。

六、如何评估“实实在在能做什么”

如果不想只看模型分数，可以从任务闭环角度评估机器人系统：

1. 能否正确理解用户目标；
2. 能否将目标拆分为合理步骤；
3. 能否调用正确工具；
4. 能否在环境变化后重新规划；
5. 能否识别执行失败；
6. 能否遵守安全和权限约束；
7. 能否与其他机器人共享状态；
8. 能否给出可追溯的任务结果；
9. 能否从失败案例中改进后续执行。

最终要观察的不是模型是否“说得像人”，而是它能否在真实约束下完成可验证的任务。

从通用导航到动态环境决策，再到异构机器人协作，大模型正在从一个负责生成文本的组件，逐步变成参与任务组织和系统迭代的智能中枢。但要把这种潜力转化为稳定能力，关键仍然在于完善的 Agent Harness：它连接模型与工具，约束模型与现实，也把一次行动沉淀为下一次行动可以复用的经验。只有模型推理、机器人控制、环境反馈和安全机制形成闭环，具身智能才可能从演示走向真正可用。