实时交互任务评测基准发布：模型时序决策能力面临新考验

一、问题的提出：当世界不再等待模型

在多数离线评测中，模型面对的是静止的输入：题目给定，环境不变，模型可以花任意长的时间反复推理，直到给出最终答案。这种”暂停世界、专心思考”的模式，与真实部署场景存在显著差距。

真实交互环境具有两个不可回避的特征：

• 环境随时间自行演化。界面会刷新，库存会变化，倒计时会走完，对手会继续行动。模型不操作，世界也在推进。
• 行动窗口存在时限。完成目标的机会往往只在某个时间区间内有效，过早或过晚的”正确操作”同样会失败。

以抢票场景为例：模型需要先发现放票信号，再根据剩余购买窗口控制自己的思考时长，最后在窗口关闭前完成下单。感知延迟、推理超时或动作滞后，任一环节失守都会导致任务失败。这类任务对模型提出的要求，已经超出传统”给定输入求输出”的范畴，转而考验模型在时间压力下的时序决策能力。

围绕这一背景，一套面向实时交互任务的评测基准被提出，其目标是把模型放进持续变化的环境中，系统性地考察它能否在时间约束下完成观察、推理与行动。

二、三类核心能力：感知、推理与执行的时间维度

该基准将实时交互任务所需能力拆解为三个相互耦合的维度。

2.1 实时感知（RT-Perceive）：判断信息是否仍然有效

感知不仅是”看到当前画面”，更关键的是判断当前状态是否已经过时、行动机会是否仍然存在。在持续变化的环境中，上一秒的观测结果可能在下一秒失效。模型需要具备状态时效性判断能力，识别哪些信息仍然可信、哪些需要重新采集。

这一能力对工程实现的启示是：实时智能体的感知模块不能只做单次快照式的输入解析，而应维护一个带时间戳的状态视图，并在决策前评估该视图的新鲜度。

2.2 实时推理（RT-Deliberate）：根据剩余时间调整思考深度

推理不再是”想得越久越好”，而是要在思考质量与思考成本之间做权衡。模型需要评估：距离行动窗口关闭还剩多少时间？继续深入推理是否还有收益？是否应当立即切换到执行？

这相当于在推理过程中引入一个内生的”时间预算”约束。一个可行的抽象方式是：

def deliberate(state, deadline):
    while time_remaining(deadline) > estimated_gain_threshold:
        candidate = reason_one_step(state)
        if confidence(candidate) > action_threshold:
            return candidate          # 提前收敛，转入执行
        state = update(state, candidate)
    return best_so_far(state)         # 时间耗尽，输出当前最优

关键不在于具体算法，而在于模型必须显式地感知”时间正在流逝”，并据此调节推理步数。

2.3 实时行动（RT-Act）：把握行动时机

行动环节要回答两个问题：现在该等待还是立即操作，以及所选动作在执行时刻是否仍然有效。在动态环境中，一个在决策时正确的动作，可能在执行时已经失效（例如目标已被对手抢先、按钮已消失）。因此动作选择必须考虑执行延迟，倾向于选择时效性更稳健的操作。

三类能力形成闭环：感知提供带时效的状态，推理在时间预算内产出候选动作，行动在执行窗口内落地并反馈结果。任一环节的时间估计偏差都会向下游传导。

三、基准设计：让行动的早晚影响结果

3.1 两个共同特征

该基准中的任务统一具备两个特点：环境会随时间自行变化；完成目标的机会存在时间限制。这意味着即使操作内容正确，执行时机错误也会导致失败。这一设计刻意放大了时序因素对结果的影响，使评测能够区分”能力不足”与”时机失当”两类失败。

3.2 任务示例

• 实时拍卖：模型需在倒计时结束前出价，同时应对对手随时加价。出价过早可能被覆盖，出价过晚则窗口关闭。
• 贪吃蛇类游戏：角色持续前进，模型必须及时转向才能获取目标，延迟一步即可能撞墙或错失。

这类任务把”等待—观察—行动”的循环压缩到秒级，迫使模型在有限时间内完成完整决策链路。

3.3 任务分布

基准共包含 30 个网页任务与 20 个游戏任务，覆盖八类场景：网页侧涵盖出行、电商、服务、安全等真实业务形态；游戏侧涵盖街机、解谜、策略与模拟等类型。这种组合兼顾了业务相关性与时序压力可控性，便于从多个角度观察模型的时序行为。

四、环境推进方式：如何计算”模型的时间”

评测实时任务时，一个容易被忽视却至关重要的问题是：模型推理所消耗的时间，是否计入环境演化？该基准对比了三种推进方式。

4.1 真实时钟（Wall Clock）

按推理实际耗时推进环境：模型生成响应花了多久，环境就向前演化多久。这是最贴近真实部署的设定——线上环境中，世界不会因为模型在思考而暂停。该模式能暴露推理延迟带来的实际损失，但受硬件与调度波动影响，结果方差相对较大。

4.2 暂停时钟（Paused Clock）

模型推理期间环境状态冻结，推理完成后环境才推进。这是一种理想化对照设定，其价值在于归因：如果模型在暂停时钟下成功、在真实时钟下失败，说明瓶颈主要来自时间约束而非推理能力本身；反之则指向推理质量问题。

4.3 对比意义

三种推进方式的组合提供了分层诊断视角：

推进方式	环境演化依据	主要用途
真实时钟	推理实际耗时	评估真实部署表现
暂停时钟	推理完成后推进	剥离时间因素，定位能力短板

通过跨模式对比，开发者可以判断一个实时智能体的失败究竟源于”想得不够好”还是”想得太慢”，从而决定是优化推理质量还是压缩推理链路、引入更激进的提前收敛策略。

五、对开发实践的启示

1. 把时间作为一等约束纳入设计。在智能体架构中显式维护截止时间、状态新鲜度与执行延迟估计，而不是把时间当作事后优化项。
2. 推理链路需要可中断、可提前收敛。设计支持在任意步骤输出当前最优解的推理流程，避免”必须想完才能行动”的刚性结构。
3. 动作选择要考虑执行时有效性。对时效敏感的操作，优先选择在延迟抖动下仍能生效的动作，或设计重试与补偿机制。
4. 评测需区分失败归因。借助真实时钟与暂停时钟的对照，把时序失败与能力失败分开度量，指导后续优化方向。

六、小结

实时交互任务的难点不在于单步决策的正确性，而在于在正确的时间做出仍然有效的决策。这套基准通过引入环境自演化与行动时间窗，把感知时效性、推理时间预算与行动时机选择统一到同一评测框架下，并通过三种环境推进方式提供可归因的对比视角。对开发者而言，其价值不仅是一组分数，更是一套提醒：当模型走出离线沙箱进入真实系统，时间本身就是必须被建模的变量。