实时交互基准发布：前沿模型成功率仅44%，时间约束成为新瓶颈

大模型在静态任务上的表现早已令人瞩目：它们能解析复杂的网页结构，能理解各类游戏的通关规则，甚至能在多项标准化测试中交出接近人类水平的答卷。然而，一旦把模型放进一个持续流动、不会等待的环境里，结论就会发生明显变化——让模型在稍纵即逝的窗口期内抢购一张热门门票，或者在方块落地前完成旋转与移动，它们往往力不从心。

为系统性地评估这类能力，研究社区提出了一套面向实时交互的基准测试方法（下称”实时交互基准”）。在该基准的评测中，即便是表现最好的前沿模型，任务成功率也仅有 44%。这一数字揭示了一个被长期忽视的问题：模型的能力瓶颈，正在从”能不能做对”转向”能不能在正确的时间做对”。

一、为什么实时交互是全新的能力维度

传统评测通常假设环境是静止的：模型可以花任意长的时间思考，环境状态在推理过程中保持不变。这种设定下，模型的核心挑战是正确性。

实时交互任务则引入了第二个维度——时效性。这类任务普遍具备两个特征：

1. 环境随时间自行演化：无论模型是否行动，界面在刷新、对手在加价、角色在前进；
2. 机会窗口存在时限：目标只在特定时间段内可达，错过即失败。

更关键的是，即使操作本身正确，执行时机的偏差同样会导致失败。在实时拍卖场景中，出价过早可能被对手立即反超，出价过晚则倒计时已结束；在贪吃蛇类游戏中，转向指令若延迟若干帧，蛇头已撞上边界。这意味着模型必须同时优化”做什么”和”什么时候做”。

围绕这一挑战，实时交互基准将所需能力拆解为三个层次：

能力层次	核心问题	失败表现
RT-Perceive（实时感知）	当前状态是什么？信息是否已过期？行动机会是否仍然存在？	基于过期截图做决策，对已消失的按钮发起点击
RT-Deliberate（实时推理）	还能思考多久？继续思考是否还有收益？	推理链过长导致窗口关闭，或草率决策错失更优解
RT-Act（实时执行）	应当等待还是立即操作？所选动作在执行时是否仍然有效？	动作发出时目标已移动，或等待过久被对手抢先

这三个环节构成一条时间敏感的决策链：模型必须先察觉到机会出现（感知），再根据剩余窗口长度决定推理深度（推理），最后在动作仍然有效的时刻完成执行（执行）。链条上任何一环失配，整个任务即告失败。这与静态任务中”一步错、可重来”的容错模式有本质区别。

二、基准设计：让”早晚”真正影响结果

实时交互基准的评测集由 30 个网页任务与 20 个游戏任务构成，覆盖出行、电商、服务、安全，以及街机、解谜、策略、模拟等八类场景。所有任务都被刻意设计为对时机敏感：

• 实时拍卖：模型需在倒计时结束前完成出价，同时应对对手的即时加价，出价策略与剩余时间强相关；
• 限时抢购：放票瞬间窗口极短，模型需先发现票源出现，再依据购买窗口的剩余时长控制思考开销，及时下单；
• 持续运动类游戏：角色持续前进，模型必须在碰撞发生前完成转向或操作，动作延迟直接转化为失败。

这类设计的价值在于，它把”时间”从一个隐含假设变成了显式的评分变量。模型不再能通过”想清楚再动手”稳拿分数，而必须在信息不完整、窗口在收缩的条件下做出权衡。

三、环境时钟如何推进：三种模式的对比

评测实时能力时，一个容易被忽略却至关重要的工程问题是：模型推理所消耗的时间，应该如何映射到环境时间轴上？ 实时交互基准对比了三种推进方式：

1. 墙钟模式（Wall Clock）
环境按真实流逝时间推进。模型生成响应花了多久，环境就向前演化多久。这是最贴近真实部署的设定——线上服务中，用户不会因为模型正在推理而暂停页面刷新。该模式对模型的推理延迟最为敏感，也是暴露问题最充分的设定。

2. 暂停时钟模式（Paused Clock）
模型推理期间环境状态冻结，推理完成后环境才继续推进。该模式剥离了延迟因素，本质上退化为”允许无限思考时间”的静态决策，可用于隔离变量：若模型在暂停模式下表现良好而在墙钟模式下骤降，说明瓶颈主要在延迟控制而非决策质量。

3. 混合/受控推进模式
介于两者之间的设定，用于分析模型在不同时间压力梯度下的表现衰减曲线。

三种模式的对照具有明确的诊断价值：它把”决策能力不足”与”时间管理能力不足”两类失败原因分离开来，为后续优化指明方向。对开发者而言，这一对比也提示了一个实践要点——在本地评测智能体时，若不模拟真实时钟推进，得到的指标会显著偏乐观。

四、工程实践：如何让智能体”踩准点”

从系统设计角度看，提升实时交互成功率并非单纯依赖更强的模型，而是一套端到端的延迟与调度优化问题。以下实践方向值得关注：

（1）压缩感知-决策-执行的链路延迟
将截图采集、状态解析、模型推理、动作下发串成一条可观测的流水线，逐段测量耗时。常见优化包括：降低图像分辨率与编码开销、复用上一帧的解析结果、将动作下发与推理部分并行化。

（2）显式建模剩余时间预算
不要让模型”自由思考”，而是在提示或控制逻辑中注入时间预算，例如：

# 伪代码：带时间预算的决策循环
deadline = now() + window_remaining
budget = estimate_budget(deadline, avg_latency)
if budget < MIN_THINK_TIME:
    action = fast_policy(observation)   # 走快速策略，放弃深度推理
else:
    action = deliberate(observation, budget)  # 在预算内完成推理
if action_still_valid(action, observation):
    execute(action)
else:
    replan()  # 动作已失效，重新规划

核心思想是让”还能想多久”成为决策的一等公民，而不是隐式地由模型自行把握。

（3）动作有效性校验
在执行前增加一次轻量校验，确认目标元素或游戏状态仍然符合预期。这一”执行前复核”能显著降低”点了个寂寞”类失败。

（4）异步感知与预测
对环境演化做短期预测（如对手加价趋势、角色运动轨迹），在等待推理结果的同时预取下一步可能的状态，从而把部分延迟隐藏在流水线中。

（5）分场景调优策略
网页类任务往往可通过更快的 DOM 解析与选择器定位获益；游戏类任务则更依赖帧级同步与低延迟输入通道。两类场景的优化重点不同，不宜套用同一套参数。

五、结论与展望

实时交互基准的价值，不在于给出一个好看的排行榜，而在于把”时间”正式纳入模型能力的评估坐标系。44% 的成功率说明：当前前沿模型在静态理解上已相当成熟，但在”观察—权衡—执行”的时间约束链条上仍有明显短板。

对开发者而言，这意味着构建实时智能体时，模型选型只是起点，系统级的延迟治理、时间预算调度与动作有效性保障才是决定成败的关键。对研究社区而言，如何让模型学会”该想多久”这一元决策能力，可能比继续扩大推理规模更具现实意义。随着实时交互场景在自动化操作、智能助手、游戏智能体等方向的普及，这一能力维度的重要性只会持续上升。