基准测试逼近饱和，AGI时代真的来了吗？

引言：当榜单开始“测不出上限”

过去一段时间，AI行业的发布节奏明显提速：多家实验室相继推出新一代旗舰模型，宣传口径高度一致——在数学推理、科学问答、软件工程、网络攻防、计算机操作等维度“全面刷新纪录”，部分基准甚至被形容为“已测不出上限”。随之而来的，是“AGI已至”的宏大叙事。

榜单刷屏固然令人兴奋，但对开发者和企业而言，更有价值的问题是：这些数字背后究竟是什么技术在起作用？“饱和”意味着什么？如何把这种能力跃迁转化为可落地的工程价值？本文尝试把发布会语言翻译成严谨的技术逻辑。

一、这轮能力跃迁，到底强在哪

从公开信息看，新一代模型的进步集中在三个方向：

1. 极难推理任务的突破。 以“研究生级科学问答”“高难度数学题集”为代表的基准，设计初衷就是让顶尖人类专家也难以轻松满分，此前模型长期在及格线附近徘徊。若新一代模型能逼近这些基准的得分上限，说明其在长链路推理、多步演绎与自我校验上出现了实质性提升，而非简单的知识记忆扩容。

2. 从“回答问题”到“完成任务”。 软件工程类基准考察模型能否在真实代码库中定位缺陷、编写补丁并通过测试；计算机操作类任务则要求模型像人一样操作图形界面。这类长程代理任务的得分提升，比单轮问答更有工程含金量，因为它考验的是“感知—规划—执行—纠错”的完整闭环。

3. 安全攻防能力的显性化。 漏洞挖掘与利用类评测进入榜单视野，意味着模型开始被当作“安全研究助手”来度量。这既是红队提效的机遇，也提示攻击面在扩大，防御侧必须同步升级。

抽象成一句话：模型的能力重心，正从“知识密度”迁移到“任务完成度”。

二、读懂“饱和”：基准测试的区分度危机

2.1 饱和不等于完美

当模型得分逼近基准的人类上限时，榜单就失去了区分度——99%与99.5%的差距，可能只是几道题的运气。更重要的是，饱和只代表这套题“测不出短板”，而非能力没有短板。就像一套满分150分的试卷，大家都考148分以上，你无法据此判断谁的综合素质更强。

2.2 数据污染是隐形水分

基准题目一旦公开，就可能混入后续的网络语料，被模型在预训练阶段“背过答案”。评测社区常见的对策包括私有保留集、题目变形、动态换题。因此，看到“刷爆榜单”时，第一反应应当是追问：评测集的新鲜度如何？是否做了防污染控制？

2.3 自建评测集才是护城河

对企业和开发者而言，真正有意义的评测永远建立在业务数据上。一个最小可用的评测管线包含三要素：任务描述、参考答案或评分函数、统计与回归追踪。示意代码如下：

# 私有评测管线示意
import json
def load_tasks(path):
    """评测集三要素：任务描述、参考答案、评分函数"""
    with open(path, encoding="utf-8") as f:
        return json.load(f)
def evaluate(model, tasks, temperatures=(0.0, 0.7)):
    """多次采样看稳定性，避免单次运气决定结论"""
    total = 0.0
    for task in tasks:
        best = 0.0
        for t in temperatures:
            output = model.generate(task["prompt"], temperature=t)
            best = max(best, task["score_fn"](output, task["reference"]))
        total += best
    return total / len(tasks)  # 分数需与业务指标对齐，而非通用准确率

三条实践原则：多次采样观察稳定性；评分函数对齐业务指标而非通用acc；把评测纳入CI流程，每次模型或提示词变更自动回归。

三、“AI训练AI”：自动化反馈回路的技术逻辑

据公开披露，新一代模型的训练过程中，先前版本的AI模型在“训练监督”环节扮演了重要角色。这在技术上并不神秘，业界通行的做法包括：

• 合成数据蒸馏：让强模型生成带完整解题过程的训练数据，经去重、难度分级、正确性校验后，供下一代模型学习；
• AI反馈的强化学习：用模型充当“裁判”对候选输出打分，缓解人工标注的规模瓶颈；
• 自博弈与自我纠错：在数学、代码等可自动验证的领域，让模型在“生成—验证—修正”中循环迭代。

这条路线的价值在于把“人类监督”从瓶颈变成锚点，但风险同样清晰：误差会沿自举链条累积，模型裁判存在系统性偏好，长期循环可能导致分布收缩、多样性下降。因此成熟的做法是保留高质量人类数据作为“定盘星”，并对合成数据做严格的比例控制与质量过滤。

四、十万卡集群：算力规模化的工程现实

新一代旗舰模型普遍动用了空前的训练算力，头部实验室的集群规模已进入数万卡乃至十万卡量级。这背后是三条通用技术逻辑：

1. 扩展律仍在兑现。 在数据质量与算法效率同步提升的前提下，更大的算力仍能换来可预期的能力增益，这是各家敢于押注重资源投入的底层依据。

2. 万卡互联是系统工程。 十万卡并行意味着训练稳定性本身成为核心难题：梯度同步的通信开销、流水线与张量并行的切分策略、节点故障后的快速恢复、checkpoint频率与显存优化的平衡，每一项都直接决定算力的有效利用率。

3. 推理成本决定商用半径。 训练投入最终要摊到每一次推理调用上。这也是为什么主流API普遍对输入与输出token差异化计价——自回归解码逐token生成，输出阶段的计算与显存压力显著高于输入阶段。评估成本时应结合业务负载的输入输出比、并发峰值与延迟要求综合测算，而不是只看单价。

五、从“会聊天”到“会用电脑”：Computer Use代理架构

“模型可以完成你在电脑上能做的任何事”，这类表述需要拆解成工程架构才可评估。一个典型的计算机操作代理由四个模块构成：

• 感知层：截屏、控件树或DOM解析，把界面转成模型可读的表征；
• 规划层：把模糊目标分解为可执行步骤，维护任务状态与历史；
• 执行层：生成点击、键入、滚动或API调用等原子动作；
• 反馈层：观察执行结果，判断成功或回滚重试。

主循环的示意逻辑如下：

# Computer Use 代理主循环示意
history = []
while not task_done and step < MAX_STEPS:
    screen = sandbox.capture()               # 感知：截屏/控件树
    plan = model.plan(goal, history, screen) # 规划：分解下一步
    action = model.propose(plan)             # 动作：点击/键入/API
    if not policy.is_allowed(action):        # 安全：权限校验
        require_human_confirmation(action)   # 高风险动作转人工
        continue
    result = sandbox.execute(action)         # 执行
    history.append((screen, action, result)) # 反馈：留痕可回放

工程上必须配套三道防线：沙箱隔离（代理只被授予最小权限的运行环境）、动作审计（每个操作留痕可回放）、人在回路（高风险动作需人工确认）。速度快的另一面是错误也被加速放大——“能做任何事”与“该不该让它做”是两个必须分开回答的问题。

六、企业与开发者的务实行动清单

面对密集的“AGI叙事”，建议按以下顺序行动：

1. 不迷信榜单：用业务数据自建评测，把公开基准仅当作能力下限的粗略参考；
2. 按任务分层接入：文案润色、代码补全等低风险场景直接用；涉及资金、数据变更的自动化流程，先以“建议—人审—执行”的半自动模式灰度；
3. 用可验证任务衡量代理能力：优先在单元测试、表单校验、对账核对等有客观判据的场景落地；
4. 做好成本与延迟预算：为不同任务路由不同档位的模型能力，简单任务不必调用最强模型；
5. 善用云平台通用能力：以百度智能云为代表的一站式云平台，通常提供模型服务、容器平台、对象存储、日志服务、监控告警等通用组件，可帮助团队快速搭建评测管线、推理网关与观测体系，把精力集中在业务逻辑而非基础设施上。

七、结语：AGI是里程碑，更是坐标系

“AGI是否已经实现”取决于定义。业界常见的工作定义是：在绝大多数具有经济价值的认知任务上，达到或超过人类专家水平。按这个标尺，新一代模型在若干封闭基准上确实交出了惊人答卷，但真实世界的长尾任务、可靠性要求与成本约束，仍是横亘在榜单分数与生产力之间的高墙。

对开发者而言，与其争论“时代是否降临”，不如把每一个新模型当作坐标系上的新刻度：用它校准自己的评测体系，重新审视哪些自动化流程现在值得重做一遍。真正决定技术红利的，从来不是发布会的宣言，而是我们把模型能力翻译成可靠系统的工程能力。