agent-">2.8T参数长程Agent模型开放权重：架构、训练与工程实践全解析

一、背景：长程Agent对模型底座提出了什么要求

随着智能体（Agent）从单轮问答走向多步骤任务编排，模型需要同时满足三类相互制约的需求：超长上下文以保留完整的历史思考与工具调用消息；稳定的指令遵循与推理能力以支撑跨步骤决策；可接受的推理成本以在真实业务中持续运行。

近期，某开源社区正式开放了一款面向长程Agent场景的大模型权重。该模型基于前代版本进行大规模联合强化学习后训练，采用2.8T总参数、104B激活参数的混合专家（MoE）架构，支持100万Token上下文及原生图文输入。本文将从架构设计、训练策略、评测表现与工程落地四个维度展开分析，为开发者与企业在选型与部署时提供参考。

二、核心规格：MoE架构与百万级上下文

2.1 稀疏激活的基本盘

该模型延续了MoE路线：总参数2.8T，单次前向激活约104B。这种设计的意义在于——参数量决定知识容量与表达上限，激活量决定单次推理的算力成本。对于需要长时间运行的Agent任务，激活参数控制在百亿量级，是平衡效果与吞吐的关键。

2.2 长上下文的现实约束

100万Token的上下文窗口，意味着模型可以一次性容纳大型代码仓库、多轮工具调用记录或长篇文档集合。但在工程上，上下文长度与注意力计算量近似呈二次关系，若不做稀疏化处理，长序列推理的延迟与显存占用会迅速失控。因此，注意力机制的改造成为该版本的重点。

三、稀疏注意力：从Gated MLA到Gated DSA

相比前代版本，新模型在注意力层做了两处关键替换：

• 将24层Gated MLA替换为Gated DSA；
• 与69层Kimi Delta Attention结合使用。

其中，DSA（稀疏注意力的一种实现）在每次计算时仅选择2048个历史Token参与注意力运算，而非对全量历史做稠密attention。这一设计的直接收益是：

1. 计算量可控：无论上下文多长，单步注意力的候选集规模相对固定，避免长序列下的算力爆炸；
2. 信息筛选显式化：通过选择机制保留与当前任务最相关的历史片段，降低无关上下文对推理的干扰；
3. 与门控机制配合：Gated结构可以对不同来源的信息流做加权，提升长程依赖的稳定性。

需要强调的是，稀疏注意力并非“丢弃历史”，而是在每一步动态决定关注哪些历史Token。对于Agent场景，这意味着此前的工具返回结果、中间推理结论仍可被检索和复用，只是参与计算的方式更加高效。

四、训练策略：联合强化学习与量化

4.1 覆盖数百个下游领域的联合RL

该模型的后训练采用了覆盖数百个下游领域的联合强化学习。与单领域微调相比，联合RL的核心挑战在于：不同任务的奖励信号尺度不同、目标可能冲突。常见的工程做法包括：

• 对任务做分组采样，保证每个batch内领域分布相对均衡；
• 对奖励做归一化或裁剪，避免某一类任务主导梯度；
• 在训练中保留通用能力（如指令遵循、格式输出）作为约束项，防止能力退化。

这种“广覆盖”策略与长程Agent的需求高度契合——Agent在真实环境中会遇到终端操作、网页检索、文档处理、代码修复等异构任务，模型需要具备跨领域的泛化能力，而非只擅长单一基准。

4.2 MXFP4权重量化

权重采用MXFP4格式量化。MXFP4属于低比特浮点量化方案，其优势在于：

• 显存占用显著下降：相比FP16/BF16，权重体积约压缩至四分之一；
• 推理吞吐提升：低比特矩阵运算在支持相应指令的硬件上可获得更高效率；
• 精度损失可控：配合量化感知训练或后训练校准，通常能在多数任务上保持接近原精度的表现。

对于希望私有化部署的企业，量化格式直接决定了单机可承载的模型规模与并发能力。

五、能力与评测：从终端操作到CAD生成

官方公布的评测覆盖了多个长程Agent相关方向，默认采用最高档思考预算（max），部分评测使用通用Agent框架。关键数据如下：

评测项	成绩
Terminal-Bench 4.0	65.7
SWE Marathon v1.1	51.7
DeepSWE v1.1	75.5
BrowseComp	92.1
BenchCAD（带工具）	92.7
OfficeQA Pro v2	64.4

从任务类型看，这些评测可归为三类：

• 代码与软件工程：Terminal-Bench、SWE Marathon、DeepSWE 分别考察终端操作、长程代码修复与软件工程任务；
• 信息检索与研究：BrowseComp 考察网页检索与信息整合能力；
• 专业创作与办公：BenchCAD 考察结合工具的CAD生成，OfficeQA Pro 考察办公文档处理。

值得注意的是，部分评测结合了外部工具与Agent框架，这说明模型的能力评估已从“纯文本问答”转向“工具调用+多步执行”的综合表现。

六、工程落地：推理框架、API与关键注意事项

6.1 推理与部署

开放权重支持主流推理框架（如支持MXFP4的vLLM、SGLang及TokenSpeed等），并提供OpenAI/Anthropic兼容API。这对现有系统意味着：

• 若已基于兼容API构建应用，迁移成本较低；
• 可通过统一网关对接多种推理后端，便于横向扩展。

6.2 多轮工具调用的消息管理

官方特别提示：多轮工具调用需保留完整的历史思考与工具调用消息。这是长程Agent落地中最容易被忽视的细节。若在拼接上下文时截断或省略中间的工具返回、思考过程，模型可能丢失任务状态，导致重复调用或逻辑断裂。

一个推荐的做法是维护结构化的会话记录：

{
  "messages": [
    {"role": "user", "content": "..."},
    {"role": "assistant", "content": "...", "tool_calls": [...]},
    {"role": "tool", "content": "..."},
    {"role": "assistant", "content": "...", "reasoning": "..."}
  ]
}

在截断时优先保留最近若干轮完整交互，并对早期历史做摘要压缩，而非直接删除中间消息。

6.3 思考预算的调节

推理提供low、high、max三档思考预算。实践中可按任务复杂度动态设置：

• low：简单分类、格式转换、短问答；
• high：多步推理、中等复杂度代码生成；
• max：长程Agent、复杂调试、专业设计任务。

合理配置可在效果与成本之间取得平衡。

6.4 许可证提示

该模型权重采用专用许可证，并非Apache 2.0或MIT等宽松协议。企业在商用前应仔细阅读许可条款，确认使用范围、分发条件与合规要求。

七、总结与选型建议

这款2.8T参数模型的开放，反映出长程Agent底座的两个趋势：一是通过稀疏注意力与MoE控制长上下文的推理成本；二是通过跨领域联合强化学习提升多步骤任务的泛化能力。

对于开发者与企业，建议从以下角度评估：

1. 场景匹配：是否涉及长程代码、检索研究或办公自动化；
2. 成本测算：104B激活参数+MXFP4量化下的单次推理开销；
3. 工程适配：现有API网关、会话管理是否能保留完整工具调用历史；
4. 合规审查：专用许可证是否满足商用与分发需求。

随着长程Agent从演示走向生产，模型架构、训练策略与工程细节的协同，将比单一评测分数更能决定最终落地效果。