如何客观评价新一代大模型的真实智能水平

新模型发布时，厂商通常会给出两类信息：一类是产品材料中的能力描述，一类是高管在沟通会上的概括性措辞。“最智能”“进入AGI时代”属于后者，工程团队不能直接把它当作采购与架构决策依据。评价一个模型是否真正领先，至少要把问题拆成三层：单项任务是否达到新的最优水平，综合评测是否领先，以及在自己的业务任务上是否具备可复现的收益。本文不讨论感受，而是围绕评测主体、指标合成、运行框架、术语合规和工程价值五个方面，给出一套更严谨的判断方法。

一、先定义“最智能”的三种口径

“最智能”至少可以对应三种口径。第一种是单项最优：在计算机操作、终端任务、高阶数学、超长上下文检索等某一类任务上，公开材料显示新一代模型确实可能取得新的最优成绩。第二种是综合指数领先：把多项基准归一化后合成一个总分，用来观察整体能力。第三种是业务任务领先：在团队真实数据、真实工具权限和真实成本约束下，任务完成率、时延和单位成功成本是否更优。三者不能互相替代。

从公开信息看，新一代模型在若干方向有明显进步，但这并不自动推出“综合最智能”。较稳妥的表述是：它在特定任务集上达到新的最优水平；在第三方综合指数中，可能与上一代旗舰持平，并落后于领先竞品数分；在编码代理等复合任务上，模型与工具链的组合表现仍然重要。因此，“最智能”必须附带限定条件：在哪些任务、何种运行框架、多少预算、由谁评分。

二、看榜先看出处：自评、第三方与综合指数的差异

评测结果首先要看是谁出的、基准是否公开、运行框架是否统一。厂商自评的优势是能拿到更完整的内部数据和更深的运行环境适配，但风险是基准选择、提示词、重试策略和工具权限可能更有利于被测模型。第三方独立评测的价值在于统一运行框架和统一预算，但它同样有局限：综合指数的权重设计带有主观性，任务覆盖可能偏科，分数饱和后区分度下降，成本和时延也未必纳入总分。

综合指数适合做初筛，不适合做最终选型。一个模型可能在计算机操作类任务上大幅领先，在高阶数学上进步显著，在长上下文检索中表现突出，但如果综合指数与上一代持平，就不能简单宣称整体智能程度最高。编码代理类评测尤其如此：模型能力、上下文管理、工具调用、错误恢复和验证器共同决定结果，单看模型分数容易高估或低估实际体验。开发者应要求评测报告至少披露任务分布、工具权限、采样预算、重复次数、评分器和失败分类，否则分数只能作为参考。

三、统一运行框架：为什么同一模型会出现两套成绩

运行框架差异是模型评测中最容易被忽略的变量。以抽象推理类任务为例，公开材料中曾出现一种典型现象：在厂商自有运行框架下，模型成绩接近满分；换到标准评测框架后，成绩只有六成多，差距达到三十多个百分点。这并不意味着模型“造假”，而是说明运行框架本身参与了问题求解。候选生成、验证器、重试次数、工具调用、搜索预算、状态管理和答案筛选，都会显著改变最终得分。

因此，比较模型时必须先统一运行框架。一个可复现的评测配置应明确任务集、预算、重复次数和指标口径。下面是一段示意性配置，不是任何具体产品参数：

evaluation:
  model: <待测模型>
  harness: unified-v1
  tasks: internal_golden_set
  budget:
    max_tokens: 128000
    max_turns: 20
    tool_calls: 40
  repeats: 5
  metrics:
    - pass_at_1
    - pass_at_5
    - cost_per_success
    - p95_latency
  report:
    - by_category
    - failure_taxonomy
    - confidence_interval

在这套口径下，团队应同时报告一次通过率、多次尝试通过率、单位成功成本、长尾时延和失败类型。只报告最高分，不报告预算和重试次数，无法判断工程可用性。对于接近满分的单项成绩，更要回到统一框架复核：它是模型能力提升，还是运行框架通过候选搜索和验证器“堆”出来的结果。两者都有价值，但含义完全不同。

四、“AGI时代”是产品措辞还是工程事实

通用人工智能（AGI）是行业长期讨论的概念，但它并不是一个统一的法律或产品标准。产品材料中的能力描述、高管在沟通会上的愿景式措辞，以及合同中的触发条款，含义并不相同。近期行业合同实践中，把通用人工智能作为自动触发条款的做法正在被移除或弱化，这说明该术语的法律效力与商业含义仍在变化。对开发者而言，重要的是不要把营销措辞直接等同于可交付能力。

采购和架构决策应看更具体的约束：服务等级、数据边界、审计日志、安全策略、版本兼容、成本模型和退出机制。若业务涉及高风险操作，还要看模型是否具备风险分级、默认拦截、人工确认和可追溯日志。所谓“进入AGI时代”可以作为行业叙事，但不能替代这些工程指标。

五、对开发者真正有价值的两个工程变化

第一是编码代理中的记忆机制。传统做法是在上下文接近上限时做截断式压缩，容易丢失任务约束、接口约定和已做决策。新一代方案更强调分层任务笔记：把事实、约束、决策理由、未决问题和产物摘要分开维护，在预算不足时按重要性压缩，并通过检索恢复。下面是一段通用伪代码：

class TaskMemory:
    def __init__(self):
        self.notes = []           # 任务事实、约束、接口约定
        self.decisions = []       # 关键决策与理由
        self.open_questions = []  # 未决问题
        self.artifacts = {}       # 文件摘要、测试结果、错误码
    def compact(self, token_budget):
        if self.size() <= token_budget:
            return self
        self.notes = summarize(
            self.notes,
            keep=["约束", "接口", "风险"]
        )
        self.decisions = summarize(
            self.decisions,
            keep=["结论", "理由", "影响范围"]
        )
        self.open_questions = dedup(self.open_questions)
        self.artifacts = summarize_artifacts(self.artifacts)
        return self

这种机制的价值不在“记更多”，而在“记对”。评估时应看长任务完成率、重复劳动比例、错误恢复能力和上下文成本，而不是只看短对话表现。

第二是安全门槛前置。部分新模型开始把安全分级作为默认运行策略：当任务涉及漏洞利用、凭据访问、横向移动或破坏性操作时，默认拦截并要求人工确认。示意性策略如下：

risk = classify(
    task,
    data_sensitivity,
    network_access,
    code_execution
)
if risk >= CRITICAL:
    require_human_approval()
    enable_audit_log()
    deny_by_default()

这意味着开发者要设计降级路径和审批流，不能假设所有任务都会无条件执行。安全拦截会增加一次交互成本，但对生产环境是必要约束。

六、可复现的选型清单

最后给出一份可落地的评估清单：建立内部黄金集，使用脱敏后的真实任务；统一运行框架和预算；同时报告通过率、成本、时延和失败分类；对长上下文任务加入多跳检索；对编码代理任务评估记忆保持和错误恢复；对高风险任务做安全红队；用 A/B 和回归测试观察版本差异；记录供应商退出成本。综合指数可以用来初筛，单项最优可以用来发现方向，但最终决策必须回到业务任务。

结论是：新一代模型在计算机操作、终端任务、高阶数学和长上下文等方向确实可能是新的最优水平，但“最智能”需要限定任务集和运行框架；第三方综合指数与上一代持平、落后领先竞品数分时，不能宣称整体智能程度最高；接近满分的单项成绩要回到统一框架复核；“AGI时代”是叙事措辞，不是产品事实。对工程团队而言，真正值得关注的是记忆机制带来的长任务稳定性，以及安全门槛前置带来的流程变化。