AGI 评测争议与技术现实：从“基准饱和”看模型能力边界

每当有新一代大模型发布并伴随“通用人工智能（AGI）已至”的宣告时，开发者社区往往会分裂成两派：一派为能力跃迁欢呼，另一派则盯着评测细节追问“这个数字是怎么来的”。这种分裂并非坏事——它恰恰说明，模型评测已经从学术圈的内部话题，变成了影响技术选型和工程决策的公共议题。本文不谈某一家厂商的某一次发布，而是把“高分宣告”与“独立质疑”之间的张力抽象出来，讨论三个更本质的问题：基准分数为何会失真、综合指数与真实成本为何更值得信任、以及开发者应当建立怎样的模型评估方法论。

一、“基准饱和”是一种什么现象

在评测语境中，“饱和”（saturation）指的是某个基准的题目难度已经无法区分头部模型——大家的得分都逼近上限，分数分布被压缩在很窄的区间内。表面上看，99% 的得分意味着“几乎全对”，但饱和会带来两个隐蔽问题。

第一，区分度丧失。当基准的难度上限低于模型能力上限时，分数差异更多反映的是运气、采样策略或提示词微调，而非能力差异。此时再拿“接近满分”作为能力证明，说服力是有限的。

第二，过拟合风险上升。公开基准一旦被反复用作优化目标，其题目分布就可能以某种形式渗透进训练或调优流程。基准本应是“未见过的考卷”，但在工程实践中，它很容易退化为“练过的题库”。因此，一个成熟的评测体系必须持续引入新基准、新题型，并对“刷榜”行为保持警惕。

对开发者而言，这意味着：看到“某基准接近满分”时，第一反应不应是惊叹，而应追问三个问题——该基准的难度上限是否足够高？题目是否公开可复现？评测时使用的推理配置是否与普通用户一致？

二、“脚手架特权”：分数差距的真正来源

比基准饱和更值得警惕的，是评测环境与使用环境的不一致。所谓“脚手架”（scaffolding），指的是在模型之外包裹的一层工程逻辑：多轮自我反思、工具调用编排、答案验证与重试、搜索增强、结果投票等等。合理的脚手架能显著提升任务完成率，这本身是正当的工程手段；问题在于，当评测分数是在“重度脚手架 + 特权配置”下取得，而普通用户通过标准接口调用却拿不到同等效果时，这个分数就不再代表“模型能力”，而代表“特定评测流水线的最佳表现”。

这类差距可以直观地用一个对比来理解：

# 概念示意：同一模型在两种评测配置下的差异
config_standard = {
    "scaffold": "single_pass",      # 单次前向，标准提示
    "retry": 0,                      # 不允许重试
    "tool_access": False,            # 无外部工具
    "budget": "user_default"         # 普通用户配额
}
config_privileged = {
    "scaffold": "reflect_verify_loop",  # 反思-验证-重试循环
    "retry": 8,                          # 多次采样择优
    "tool_access": True,                 # 允许调用外部工具
    "budget": "unlimited_eval"           # 评测专用配额
}
# 同一底层模型，两种配置的任务完成率可能相差数十个百分点

上例中的字段名是通用概念的表达，但它揭示的道理是确定的：多次采样择优、反思循环、工具增强都会系统性抬高分数。因此，一个有意义的评测报告必须明确标注：分数是在哪种脚手架下取得的、是否允许多次尝试、是否使用了外部工具、单次任务的算力预算是否与普通用户一致。缺失这些元信息的高分，几乎无法用于工程决策。

这也解释了为何“官方公布分数”与“独立复现分数”之间常出现明显落差。落差本身不必然是造假，但它说明该分数不可直接迁移到生产环境。对开发者来说，可迁移性才是分数的全部价值所在。

三、综合智能指数与成本模型：更贴近工程现实的两个维度

单一基准容易饱和，也容易被脚手架放大，因此独立评测机构倾向于使用综合智能指数——把多类任务（推理、代码、数学、长文本理解、指令遵循等）加权聚合。综合指数的价值不在于绝对分数，而在于两点：一是跨代对比是否真有提升，二是与同级模型的相对位置是否稳定。

如果一个新模型在综合指数上与前代持平，甚至略低于同期其他方案，那么“代际跃迁”的说法就需要更谨慎的表达。这里的关键是区分“发布叙事”与“能力事实”：发布叙事强调峰值表现与标志性分数，能力事实则由可复现的综合评测与真实任务完成率构成。

与综合指数同等重要的，是使用成本。模型能力必须放在成本分母上才有意义。一个常见的评估公式是：

单位任务成本 = (输入 token 单价 × 输入量 + 输出 token 单价 × 输出量) / 任务成功率

当 API 定价相对上一代明显上涨时，即使能力有小幅提升，单位任务成本也可能不降反升。更现实的问题是：如果那个“接近满分”的分数只有在特权评测配置下才能取得，那么普通 API 调用者实际获得的，是“标准配置下的能力”配上“上涨后的价格”。对需要大规模调用的企业用户而言，这个组合的性价比需要重新核算。

因此，理性的选型评估至少应包含四个维度：

1. 可复现性：分数能否在公开脚手架与标准配额下复现；
2. 相对位置：综合指数上是否稳定优于同级方案；
3. 单位成本：按成功率折算后的单位任务成本是否可接受；
4. 任务贴合度：在自身业务分布上的抽样表现，而非通用榜单排名。

四、开发者应建立怎样的评测方法论

面对任何“能力跃迁”的宣告，建议采用一套轻量但严格的内部评测流程：

• 自建小样本集：从真实业务日志中抽取 100～300 条代表性任务，覆盖长尾与边界情况，作为内部“金标准”。
• 固定脚手架：明确单次/多次尝试、是否允许工具调用、超时与配额，确保不同模型的对比条件一致。
• 记录成本：统计每条任务的 token 消耗与实际费用，计算单位成功成本，而非只看单价。
• 关注方差：同一配置下重复跑多次，观察成功率波动；方差大的模型在生产环境中更难预测。
• 定期换题：内部样本集也应轮换，避免长期优化导致过拟合。

这套方法的成本不高，却能有效过滤“评测话术”带来的噪声。它的核心思想是：不要相信任何未经你复现的分数，哪怕它接近满分。

五、结语：把“时代宣告”还原为工程问题

“AGI 时代已来”是一句传播效率极高的口号，但工程决策需要的不是口号，而是可验证的条件：在什么配置下、以什么成本、在多大概率上、能完成哪类任务。基准饱和提醒我们分数有上限，脚手架特权提醒我们分数有前提，综合指数与成本模型提醒我们能力要放在分母上衡量。

对开发者而言，最稳妥的姿态不是急于站队“已至”或“未至”，而是把每一次发布都还原成一组可检验的工程假设，然后用自己的样本集去验证它。毕竟，模型是否跨过某条智能门槛，最终不是由发布会定义的，而是由它在真实任务上的稳定表现和可接受成本定义的。