基准逼近饱和：大模型迈向AGI的跃迁与冷思考

一、从一条“饱和”的新闻说起

近期，AI领域迎来一次备受关注的能力跃迁：某前沿实验室发布新一代旗舰模型，将其定位为“最智能、对齐程度最高”的模型，并宣布其在计算机使用、网页浏览、软件工程、网络安全、科学推理与专业工作等方向全面刷新公开基准纪录，多项指标逼近甚至触及饱和线。该实验室负责人更公开宣称，通用人工智能（AGI）时代已经到来。

无论我们是否认同“AGI已实现”这一判断，这一事件都折射出三个确定的技术信号：

• 评测基准的生命周期正在被急剧压缩；
• 模型能力边界从“对话与生成”扩展到“在真实计算环境中执行任务”；
• 训练范式正从“人类监督”走向“AI参与监督”。

下文围绕这三条主线逐一展开，并给出开发者的落地建议。

二、基准饱和：评测的“天花板效应”

1. 为什么榜单会“被打爆”

公开基准通常由固定题集构成，一旦模型能力越过某个阈值，题目便失去区分度——多数模型都能接近满分，评测随之失效，这就是饱和效应。近期多项权威基准同时逼近饱和，意味着现有评测体系对头部模型的区分能力正在快速衰减。

1. 几类代表性基准考察了什么

• 抽象推理类：向Agent呈现从未见过的互动式解谜任务，考察“边玩边学”的归纳与迁移能力。人类测试者平均得分通常在50%上下，而前沿模型已从早期大幅落后反超至接近满分，说明在线学习与小样本适应能力在交互环境中趋于成熟。
• 前沿数学类：采用赛后未公开的竞赛级难题，规避训练语料“背题”风险。模型在此类基准逼近饱和分，意味着在陌生难题上的推理上限已接近顶尖人类选手的群体水平。
• 研究生级科学问答：覆盖物理、化学、生物等领域研究生水平的推理题，检验专业知识与多步推理的结合。
• 漏洞利用类：在靶机环境中考察Agent发现并利用安全漏洞的能力，这类能力对安全行业是典型的双刃剑。

1. 饱和之后该怎么测

• 动态与私有评测集：不公开、定期更换，防止过拟合与语料污染；
• 开放式评测：不设唯一标准答案，依赖模型裁判或人类评审；
• 长程真实任务：以真实工作流的端到端成功率计分，而非单题正确率；
• 警惕Goodhart定律：当榜单本身成为目标，刷榜行为会让榜单失真，厂商自评数据应以独立复现为佐证。

三、“计算机使用”：从聊天窗口走向完整桌面

1. 能力定义

所谓计算机使用，指模型不再依赖专门接口，而是像人一样通过截屏感知界面、通过模拟键鼠执行操作，在真实图形界面中完成端到端任务：填表、跨应用搬运数据、调试页面、批量处理文件等。

1. 技术闭环

其核心是“感知—状态建模—规划—执行—验证”的循环，示意代码如下：

class ComputerUseAgent:
    def run(self, task: str):
        while not self.done:
            screen = self.capture()            # 截图 + 无障碍树
            state = self.perceive(screen)      # 结构化理解界面
            action = self.plan(state, task)    # 决定下一步动作
            if self.risky(action):
                action = self.guard(action)    # 危险动作闸门
            result = self.execute(action)      # 点击/键入/滚动
            if not self.verify(state, result, task):
                self.rollback()                # 校验失败则回退

1. 工程挑战与最佳实践

• 延迟与成本：每步都要“看屏—思考—行动”，长任务开销大；应优先为模型提供结构化接口（API或工具调用），界面操作仅作兜底；
• 一致性：长程任务存在状态漂移，需关键路径快照与断点续跑；
• 安全：必须运行于隔离沙箱，权限最小化，敏感操作加人工确认，全程保留可回放的审计日志。

四、AI训练AI：训练监督的新范式

1. 从人类反馈到AI反馈

传统对齐依赖人类标注偏好，成本高、覆盖窄。新范式引入“AI参与监督”：由先前训练好的强模型担任出题人、批判者与奖励信号生成器，在大规模合成数据上执行强化学习或拒绝采样。所谓“训练监督中由先前AI模型发挥重要作用”，正是指这一路线。

1. 数据飞轮

强模型生成数据 → 训练更强模型 → 更强模型产出更高质量数据。飞轮可持续加速的前提，是高质量的过滤、去重与多样性保障。

1. 风险与缓解

• 风险：误差逐层放大、表达模式坍缩为“平均腔调”；
• 缓解：合成数据与真实数据按配比混合；对可程序化验证的任务（如数学题）用机器判分兜底；引入对抗性过滤与多样性度量监控。

五、十万卡级训练：规模化的工程现实

1. 集群工程

十万卡量级集群意味着：数据并行、张量并行、流水线并行的组合调优；集合通信带来的带宽瓶颈；以小时计的平均无故障时间与高频checkpoint。任何单点故障都可能中断持续数周的训练，容错与弹性调度是隐性的核心竞争力。

1. Token经济学

头部模型普遍按百万Token计费，且输出价格数倍于输入，根源在于自回归生成每一步都要执行完整前向计算，输出侧算力成本天然更高。对开发者而言：

• 上下文缓存可摊薄重复前缀成本；
• 分层路由：简单任务交给小模型，难题才升级到旗舰模型；
• 蒸馏与批处理：离线任务走批量通道换取更低单价。

六、对“AGI已实现”的冷静判断

1. 定义分歧依然存在：业界对AGI并无统一标准，有的强调“在绝大多数有经济价值的工作上超越人类”，有的强调“跨领域通用学习与元认知能力”。厂商宣称达成与学界认可之间，往往存在时间与证据上的落差。

2. 验证方法：用私有评测集盲测而非引用厂商数据；在自己业务工作流中做真实A/B对比，统计成功率、返工率与成本；同时关注幻觉率、长程一致性与安全对齐——能力峰值不等于日常可用性。

七、开发者行动指南

1. 建设自有评测集：从真实业务采样，覆盖高频、边界与失败场景；按正确性、安全性、格式合规、成本延迟分层打分；纳入CI，模型或提示词每次变更都跑回归。

2. Agent落地三原则：能用结构化API就不操作GUI；沙箱隔离加权限最小化，危险动作设人工卡点；记录每一步观测与动作，可回放、可审计。

3. 成本控制：分层路由、缓存复用、上下文裁剪；监控每次调用的Token消耗，设置预算与告警。

4. 关注但不盲从：新模型发布后，先跑自建评测，再决定是否迁移；迁移决策应基于可复现、可迁移到自有场景的能力，而非榜单数字。

结语

基准饱和、Agent操作计算机、AI参与训练、超大规模算力，四条线索共同指向同一趋势：模型正从“会写会说”走向“会做事”。AGI是否已经到来仍有争议，但工程意义上的变化已然发生——评测体系需要重建，应用架构需要为Agent改写，成本模型需要重新核算。对开发者而言，最理性的姿态是：把每一次“划时代”的宣称，都当作一次检验自建评测体系与落地管线的机会。