万亿参数开源大模型登顶智能体基准，强化学习与稀疏注意力成关键

从架构到评测：一场围绕“真实任务”的效能跃迁

近期，一款总参数规模达2.8万亿的混合专家（MoE）大模型正式向公众开放权重，并在国际知名的智能体能力基准评测中跻身开放权重模型首位。这一事件标志着超大规模开源模型在“可执行复杂任务”能力上迈出了实质性一步。本文将从模型架构、训练策略、评测方法论及落地可行性四个维度，对该技术进展进行拆解。

一、模型架构：稀疏激活与长上下文优化的双重奏

该模型采用经典的混合专家架构，总参数量达到2.8万亿，但得益于稀疏激活机制，单次推理仅激活约1040亿参数。这种设计在保持模型容量的同时，有效控制了单次前向传播的计算开销，使得模型在推理阶段具备更高的性价比。

值得注意的是，研发团队对模型进行了架构级改造：将部分全注意力层替换为门控稀疏注意力层。这一改动直指长文本处理场景的痛点——传统全注意力机制在序列长度增长时，计算复杂度呈平方级上升，导致长上下文建模的资源开销难以承受。门控稀疏注意力通过引入可学习的门控机制，动态决定每个查询Token需要关注哪些键值对，从而在保持全局语义感知能力的同时，将长序列下的计算复杂度降至线性或近似线性级别。这一设计使得模型能够原生支持约100万Token的上下文窗口，为多轮复杂对话、长文档分析、代码仓库级理解等应用场景提供了基础能力。

二、训练范式：以“强化学习”为核心的后训练跃迁

与多数开源模型仅依赖预训练加指令微调的常规路线不同，该模型的后训练阶段采用了大规模联合强化学习。技术报告显示，其以上一代模型（同为万亿级参数）为基座，联合覆盖数百个下游领域的奖励信号进行优化。这种训练方式的核心优势在于：模型并非简单模仿人类写作文本，而是在与环境的持续交互中学习“如何高效达成目标”。

具体而言，联合强化学习使模型能够针对不同任务类型（如代码调试、信息检索、工具调用）自适应调整策略。例如，在处理Shell命令执行类任务时，模型不仅需要理解指令语义，还要学会预测命令的运行结果并据此修正下一步动作。这种能力的获得，单纯依靠静态数据集的监督学习几乎无法实现，必须依赖动态、多轮的强化学习过程。从评测数据看，这一策略的效果显著：模型在衡量Shell命令执行可靠性的指标上，从上代模型的-4.5%（低于平均水平）跃升至+7.9%，实现了从“低于平均”到“开放模型第一”的逆转。

三、评测方法论再审视：为何“真实会话信号”更有说服力

该模型所登顶的智能体排行榜，其评测机制与传统基准有本质差异，值得技术社区深入理解。传统评测通常采用“成对盲测”，即让人类评审对两个模型的回答进行偏好投票。然而，这种方式的局限性在于：它衡量的是“单轮回答的文本质量”，而非“完成真实任务的能力”。

此次评测则另辟蹊径，采用因果追踪方法，从真实用户的智能体长期会话中提取信号。其核心逻辑是分析用户在与AI协作过程中的行为反馈，具体包括：

• 任务确认信号：用户是否明确表示“好的，请执行”或“就这么做”
• 情绪反馈：用户发出表扬（如“太棒了”）或投诉（如“这不对”）的频率
• 修正指令：用户是否频繁打断并要求调整执行方向
• 工具执行错误：Shell命令执行失败的频率及类型

通过随机化推断技术，评测机构估算出每个模型相对于所有参评模型平均水平的净改进率。这种方法的优势在于：它衡量的是模型在真实、多轮、工具密集型任务中的综合表现，而非孤立的文本生成质量。该模型以超过1.75万次真实长周期会话样本为基础，取得+5.1%的净改进率，较上代模型提升4.2个百分点。

分项指标进一步揭示了能力提升的具体维度。除前述Shell可靠性外，模型在用户满意度（表扬/投诉比）指标上从+1.3%提升至+7.7%，表明其在对话中更少引发用户负面情绪；在可引导性（即用户能否有效改变模型行为）指标上达到+6.5%，居开放模型首位——这意味着该模型能更灵活地跟随用户在任务执行过程中提出的方向调整，而非机械地执行首次理解的指令。

四、部署的现实挑战：开放权重≠人人可跑

尽管开放权重极大促进了技术民主化，但我们必须清醒认识到“可下载”与“可部署”之间的巨大鸿沟。以BF16精度存储，该模型的权重文件大小约5.6TB；即使采用当前业界主流的INT4量化方案，仍需约1.4TB存储空间。这意味着：

1. 硬件门槛极高：单机配备8张NVIDIA H100/A100级别GPU（每张80GB显存）的服务器，其总显存（640GB）也无法将INT4量化后的模型完整加载至显存。实际推理需借助CPU卸载或分布式推理框架，而这对内存带宽和节点间通信提出了苛刻要求。
2. 推理延迟不容乐观：虽然激活参数仅1040亿，但需从数万亿参数中动态选择专家路由，这要求推理引擎具备高效的MoE调度能力。消费级硬件上的单Token生成延迟将难以满足交互式应用的需求。

因此，对于绝大多数开发者和中小企业而言，直接本地部署该模型并不现实。可行的路径包括：使用云服务商提供的托管推理API，等待社区推出针对特定硬件的高效量化版本（如4-bit GPTQ或AWQ），或仅将其作为研究用途，在缩减规模的蒸馏模型上验证技术思路。

五、技术趋势总结与启示

该模型的发布与评测结果，为行业提供了三点重要启示：

第一，强化学习正在成为大模型能力进阶的核心引擎。 单纯依赖预训练数据的规模扩展已接近边际效应递减，而通过与环境交互、借助奖励信号进行策略优化，能够激活模型在复杂工具调用与长程规划方面的潜能。这预示着后续模型的竞争焦点将从“数据规模”转向“训练范式创新”。

第二，评测基准必须向“任务完成度”迁移。 传统的文本质量评测已不足以反映模型的真实实用性。以真实用户会话为基础的信号提取与因果推断，正在成为衡量智能体能力的更可靠标尺。开发者评估模型时，应优先参考此类与业务场景强相关的基准。

第三，稀疏注意力与MoE的组合，是支撑超长上下文的可行路径。 在本模型中，门控稀疏注意力替代部分全注意力层的设计，被证明在效率与效果之间取得了良好平衡。后续模型或可进一步探索动态稀疏率，即根据序列长度和任务复杂度自适应调整注意力计算的粒度，从而在极致性能与资源消耗之间寻求动态最优解。

对于技术决策者而言，面对此类超大模型，务实的策略应是：利用开放的权重进行针对性蒸馏，获得百亿参数级的学生模型，并在垂直领域数据上精调，从而在可控成本下收获接近原模型的核心能力。这或许是万亿参数时代，技术落地的最近通路。