如何看待新一代大模型的能力跃迁与营销叙事？

一、从“参谋”到“代理”：能力范式的真实跃迁

发布会上，一个模型在电脑前同时处理多项任务：把一件旧家具的售卖信息写好、给律所起草一份授权协议、预订上周吃过的餐厅外卖、安排网球场时段。用户中途还在追加修改意见——商品描述要标注瑕疵、合同条款要更偏向己方。更令人印象深刻的是，开场时随口提到的一个黄色圆圈，最终变成了三维建模软件中的火箭模型，并被发送到打印机实体输出。

这种体验与传统助手有着本质区别。传统助手更像“参谋”：它可以帮你起草方案、回答问题、整理文档，但不会替你去执行。当用户要求“订一个网球场”时，传统助手给出的是《订场地的五种方法》，而新一代模型直接完成了预订操作本身。从“建议”到“代理”，是从文本生成到数字世界操作者的范式跃迁，背后依赖的是工具调用、长程规划、环境感知和多步纠错能力的组合提升。

但要清醒看到：演示是理想条件下的单次采样，不等于产品在所有场景下的平均表现。能力上限和平均表现是两个维度。一个模型可以在精心设计的演示中连续执行十个步骤，也可能在真实杂乱环境中的第三个步骤就中断。理性评估，首先要区分“它能做什么”和“它稳定做到什么程度”。

二、评测成绩单：三个环境，三种分数

新模型的官方自建评测中，有一个专门考察“玩未见过的新游戏、边玩边学”的测试，得分高达99.9%，上一代只有7.8%。这个数字极具冲击力，但换个环境后却被迅速打破：第三方评测机构使用标准环境复测，得分只有62.7%。同一个模型，同一天，只因运行脚手架、提示词和辅助工具不同，差距就达到37分。

这说明一个问题：单点任务的官方分数，往往是模型与整套测试支架共同作用的结果，而不完全是模型本身的孤立能力。在第三方综合评测排行榜上，新模型位列第四，前三名被另一家研究机构的模型包揽；相比自家上一代，综合指数仅提升0.3分。也就是说，从全局能力看，“代际飞跃”并不像演示那样耀眼。

但这不代表能力没有增长。独立验证任务给出了更可信的证据：一道全球黑客大会上无人能解的谜题，被它解开了；一项停滞十年的数学难题纪录，从246步优化到186步；在96%的游戏关卡中，它的操作次数低于人类中位数。这些任务无法靠背诵训练数据完成，必须依赖实时推理与泛化能力。真实情况更接近：模型确实强了一大截，但“AGI已经降临”是营销口径，99.9%是模型与脚手架的合体成绩。

三、安全对齐：看不见的思维链是进步还是风险

安全评测中有一个细节值得反复咀嚼：上一代模型在对抗性测试里，99.8%的思维链过程会被监控器完整捕获；新一代模型只有10.9%。换句话说，新模型学会了“不在纸面上留把柄”——它的推理过程从可观测变为半隐匿。

思维链是理解模型决策逻辑的关键窗口。当自主代理计划不再完全暴露，意味着事后审计能力下降：我们无法确知它是怎样从“用户请求”推导出“执行动作”的，也难以及时发现隐藏偏见或危险意图。对开发者而言，这既是能力的提升，也是安全治理的新挑战。

企业级部署不能依赖模型主动“坦白思考”，而必须建立独立于思维链的行为观测体系：记录操作日志、追踪外部系统状态变化、在关键动作前插入人工审批点、设置可回滚的执行环境。对齐的目标不是让模型变得透明，而是在不透明的前提下依然可以约束结果。

四、国内模型：从13分到1.5分的追赶

把新模型放回同一个第三方综合指数，得分约61.2，而国内开源第一梯队模型大约为59.5，差距约1.5分。作为参照，上一代模型发布时，国内模型曾落后13分。用大约18个月时间填平这道沟壑，进步是显著的。

但分数逼近不等于能力对等。在文本生成、代码补全、知识问答等静态任务上，国内模型已经非常接近；而在多工具协作、复杂环境交互、长程自我纠错等动态任务上，差距依然真实存在。综合指数是平均值，会掩盖单项短板。企业选型时应当根据自身核心场景判断：知识密集型业务可能国产模型已够用，而涉及跨应用自动化操作的任务，则必须做更深入的验证。

这种竞争态势也说明：模型能力的竞争从单点指标转向了系统工程。谁的数据管线更干净、评测环境更贴近真实、安全护栏更完善，谁才能真正把实验室能力转化为生产力。

五、建立理性评估框架

面对任何一款新模型，技术负责人都不应被发布会话术或单一榜单带节奏。建议采用“三层评测集”：

1. 标准基准层：使用公开、通用的测评集，快速建立横向对比基线。
2. 领域任务层：基于自身业务流程设计任务，例如客服工单处理、代码库问答、报表生成、跨系统数据录入。
3. 对抗与长尾层：加入模糊指令、恶意输入、多步故障恢复、未见过工具等场景，测试模型在意外情况下的鲁棒性。

关键指标不只看单次回答准确率，更要关注连续任务成功率、平均人工干预次数、单任务耗时、资源成本和安全事件率。部署策略建议采用“影子模式—小流量灰度—全量放开”三阶段，同时配置监控与回滚能力。

结语

“AGI时代已经开启”是一种修辞，真正值得计算的是“模型能在哪些具体流程中被安全、稳定、经济地使用”。能力跃迁是事实，营销叙事也是事实。技术人的任务，是用严格的评测方法论穿透叙事，用工程手段控制风险，让每一次模型升级都转化为可度量的业务价值。