AGI 的关键跃迁：从答题能力到任务执行

一、一个反直觉的发布现象

近期大模型赛道异常拥挤：多家厂商接连推出新版本，参数规模、上下文长度、推理速度的军备竞赛似乎从未停歇。在这样密集的发布节奏中，某头部厂商终于推出了其最新一代旗舰模型。

然而，第一批评测数据出炉后，很多人第一反应是”翻车了”。

在某权威评测机构的综合智力评分上，新一代旗舰模型与上一代旗舰模型得分完全相同，均为 61 分。而同期某竞品的综合智力分数达到了 66 分，明显更高。

如果只看这一张表，结论似乎很尴尬：新一代旗舰模型，综合智力分数一点没涨，甚至打不过竞品。

但继续往下看，事情就完全不一样了。

在另一组针对代理能力与自动化任务的评测中，数据呈现出断崖式差距：

• 自动化基准：上一代旗舰 18.1%，新一代旗舰 41.4%，提升超过一倍。
• 终端科学计算基准：上一代 22.4%，新一代 64.6%，接近三倍。
• 漏洞利用基准：新一代达到 100%。
• 抽象推理基准：最高做到 99.9%。

问题随之而来：为什么综合智力分几乎没动，但在自动化、代理、科学计算、工具调用、系统级任务这些场景里，模型突然像换了一个物种？

答案很可能是：这一代模型真正升级的，不是”会不会答题”，而是”能不能把事情做完”。

二、综合智力分数为什么不再是核心指标

要理解这个现象，必须先理解”综合智力分数”到底测的是什么。

当前主流综合评测集，绝大多数题目形式是：给定一段文本或一张图，要求模型输出一个答案。题目覆盖数学、物理、历史、法律、医学等学科，考察的是单轮、封闭、有标准答案的知识检索与推理能力。

这类评测有一个隐含假设：模型的价值等于它的”知识库 + 推理链”。但这个假设在真实生产环境中越来越不成立。

真实任务长什么样？举几个典型例子：

1. 自动化运维：监控到某个服务延迟升高 → 拉取日志 → 定位到某个依赖超时 → 修改配置 → 灰度发布 → 验证指标回落 → 回滚预案准备。
2. 科研辅助：读取一批论文 → 提取实验方法 → 复现关键步骤 → 跑数值模拟 → 分析偏差 → 生成图表与结论。
3. 安全测试：扫描目标资产 → 识别版本 → 匹配已知漏洞模式 → 构造验证请求 → 确认可利用性 → 输出报告。

这些任务的共同特征是：多步骤、跨工具、有状态、需要根据中间结果调整策略。它们考验的不是”知道什么”，而是”能不能规划、能不能调用工具、能不能在长链路中保持目标一致性”。

综合智力分数对这类能力的区分度极低。一个模型可以在学科问答上拿高分，但一旦要求它连续调用五个工具、处理三次失败重试、在第十步还记得第一步的目标，就会彻底崩溃。

所以，当新一代模型综合智力分停在 61 分，而代理任务分数翻倍时，正确的解读不是”智力没涨”，而是评测维度与能力升级方向错位了。

三、代理编排与长任务执行：技术难点在哪

代理能力听起来是个热词，但工程上它由若干硬骨头组成。

3.1 规划与分解

给定一个模糊目标，模型需要把它拆成可执行的子任务序列。难点在于：

• 子任务之间存在依赖关系，顺序不能乱；
• 有些子任务在规划时无法确定，需要执行后才能决定下一步；
• 分解粒度要合适，太粗无法执行，太细会导致步数爆炸。

一个健壮的规划器通常需要维护一个动态任务图，而非一次性输出固定计划。

目标：将某个服务的 P99 延迟降低 30%
├── 子任务 1：采集当前延迟分布（工具：监控查询）
├── 子任务 2：定位瓶颈环节（依赖子任务 1 结果）
│   ├── 若瓶颈在数据库 → 子任务 2a：分析慢查询
│   └── 若瓶颈在应用层 → 子任务 2b：分析调用链
├── 子任务 3：实施优化（依赖子任务 2 分支）
└── 子任务 4：验证效果（依赖子任务 3）

3.2 工具调用的可靠性

工具调用不是简单的函数调用。真实场景中：

• 工具可能超时、返回格式异常、权限不足；
• 工具的输出需要被解析、校验、转换后再喂给下一步；
• 多个工具的输出可能存在冲突，需要仲裁。

模型必须学会在工具失败时重试、降级或绕行，而不是直接把错误信息当成事实继续推理。

3.3 长上下文中的目标保持

当一个任务需要几十步甚至上百步时，上下文会迅速膨胀。模型需要在大量中间结果中，始终记住：

• 原始目标是什么；
• 哪些约束不能违反；
• 当前进度到哪了；
• 哪些尝试已经失败、不要重复。

这本质上是状态管理问题。优秀的代理实现会把关键状态显式外化（写入结构化记忆或工作区），而不是全部依赖注意力机制隐式维护。

3.4 终止条件判断

什么时候算任务完成？什么时候应该放弃？这需要模型具备自我评估能力。过早停止会导致任务未完成，过晚停止会导致资源浪费甚至产生副作用。

四、科学计算与系统级任务的能力来源

新一代模型在终端科学计算基准上从 22.4% 跃升到 64.6%，这个提升幅度值得拆解。

科学计算类任务通常要求模型：

1. 理解问题背景与物理/数学约束；
2. 编写可执行代码；
3. 运行代码并读取结果；
4. 根据报错或异常结果调试；
5. 迭代直到结果合理。

这本质上是代码代理能力的综合体现。它要求模型不仅会写代码，还要会”调试自己写的代码”——读取堆栈、定位错误、修改、重跑。

在系统级任务中（如安全测试、环境配置、进程管理），能力要求进一步升级：

• 理解操作系统语义（权限、进程、文件系统、网络）；
• 构造符合协议规范的请求；
• 处理非结构化输出（日志、二进制响应）；
• 在受限环境中寻找可行路径。

漏洞利用基准达到 100%，说明模型在理解系统行为并构造有效输入方面已经相当成熟。这类能力对防御方同样有价值：可以用于自动化安全审计、配置合规检查、异常行为模拟。

五、对开发者与企业的实际影响

5.1 评估体系需要更新

如果团队还在用学科问答类评测来选择模型，很可能会选错。建议补充以下维度的评估：

• 代理任务完成率：给定真实业务流程，模型能否端到端完成；
• 工具调用准确率：在多个工具间选择正确工具并正确传参；
• 长任务一致性：在 50 步以上任务中目标偏移率；
• 失败恢复能力：注入工具故障后，任务能否继续；
• 副作用控制：是否会执行危险操作（删除、覆盖、越权）。

5.2 应用架构需要调整

代理型模型对应用架构提出新要求：

传统问答架构：
用户输入 → 模型 → 输出
代理型架构：
用户目标 → 编排层（规划/状态管理）
         → 工具层（API/代码执行/检索）
         → 模型（推理/决策/生成）
         → 验证层（结果校验/回滚）
         → 输出

关键变化是：模型不再是唯一组件，而是编排系统中的一个决策节点。状态、工具、验证都需要显式设计。

5.3 安全边界必须前置

代理能力越强，误操作代价越大。企业落地时必须考虑：

• 权限最小化：代理只能访问完成任务所需的最小资源；
• 操作审计：所有工具调用可追溯、可回放；
• 危险操作确认：删除、发布、支付等操作需人工确认或双人复核；
• 沙箱隔离：代码执行、网络访问在受控环境中进行；
• 预算与步数上限：防止无限循环消耗资源。

六、结语：AGI 的分水岭在”做完”而非”答对”

回到最初的问题：为什么综合智力分没涨，代理能力却暴涨？

因为这两者衡量的根本不是同一种东西。前者衡量的是在封闭问题上的知识调用效率，后者衡量的是在开放环境中的目标达成能力。

如果 AGI 的定义是”能像人一样完成各种任务”，那么分水岭显然在后者。一个能在学科竞赛中拿高分但无法独立完成一项多步骤工作的系统，很难被称为通用智能；而一个能在真实环境中规划、执行、纠错、交付的系统，即使在某些问答榜单上不突出，也离 AGI 更近。

对开发者和企业而言，这意味着选型标准、架构设计与安全策略都需要同步升级。别再只看分数，要看它能不能把活干完。