开源稀疏MoE模型的长程智能体能力拆解：架构、训练与评测

长程智能体任务正在成为衡量大模型工程可用性的关键标尺。所谓“长程”，并非单指上下文长度，而是指模型在数十乃至上百步的工具调用、状态维护与错误恢复中保持目标一致性。近期有一个开源权重版本围绕这一目标做了系统性改造：以稀疏MoE为骨架，把总参数推到2.8T量级、单次激活约104B，同时支持百万级Token上下文与原生图文输入，并在终端操作、代码修复、CAD生成等评测上给出了完整成绩单。本文从架构、训练、评测、部署四个维度拆解这套方案，供开发者评估与落地参考。

一、整体定位：为什么长程能力需要架构级配合

很多团队在构建智能体时，习惯把长程能力简单归因为“上下文够长”。但真实瓶颈往往在三处：一是注意力计算随历史增长而膨胀，导致步间延迟不可接受；二是多轮工具调用中，历史思考与工具返回消息需要完整保留，显存占用快速堆积；三是模型在长链条任务中容易丢失早期约束，出现目标漂移。

该版本给出的答案是三层配合：MoE稀疏化控制单步计算量，稀疏注意力控制历史Token的参与规模，分档思考预算控制推理开销。三者叠加，才使“长程”从上下文指标变成可运行的工程能力。

其核心规格可概括为：

• 架构：MoE，总参数2.8T，激活参数104B
• 上下文：支持100万Token
• 输入模态：原生图文
• 思考预算：low / high / max 三档
• 权重量化：MXFP4
• 许可证：专用许可证，非宽松式开源协议

需要特别提示的是最后一点。权重虽开放，但许可证并非Apache 2.0或MIT这类宽松协议，商用前必须逐条核对许可条款，包括再分发、衍生模型命名、服务化提供等常见约束点。这是工程落地前最容易忽略的合规动作。

二、稀疏注意力改造：从Gated MLA到Gated DSA

相比前代版本，新版本在注意力层做了明确替换：将24层Gated MLA改为Gated DSA，并与69层Kimi Delta Attention组合使用。DSA的关键行为是每次注意力计算只选择2048个历史Token参与。

这一设计的工程含义值得展开。传统全注意力在长上下文下，单层复杂度随序列长度平方增长；即便有KV Cache，解码阶段每步仍需对全部历史做注意力。而“选择2048个历史Token”相当于在层内引入一次轻量检索式筛选：模型不放弃长历史，但每步只为最相关的片段付出注意力成本。

这带来两个直接收益：

1. 步间延迟更平稳。智能体任务是串行多步的，单步延迟的方差往往比均值更影响体验。固定参与规模让每步开销更可预测。
2. 显存压力可控。历史消息仍保留在上下文中，但注意力计算的活跃集被限制，配合低精度权重，整体显存曲线更平缓。

代价同样存在：筛选本身有开销，且被丢弃的历史Token信息只能通过其他层或缓存间接保留。因此该方案把Gated DSA与Delta Attention分层混用，本质是在“精确回看”与“高效推进”之间做层间分工，而非全模型统一策略。

三、训练路径：联合强化学习与低精度量化

训练侧有两个值得关注的点。

其一是覆盖数百个下游领域的联合强化学习后训练。 单任务RL容易过拟合到特定奖励形态，而智能体任务天然跨域：终端操作要处理命令语义，代码修复要理解仓库结构，办公文档处理要遵循格式约束。联合RL的价值在于让模型在多奖励信号间学习任务切换与通用工具使用策略，而不是记住某个基准的捷径。

其二是MXFP4权重量化。 在2.8T总参数规模下，权重量化直接决定部署可行性。MXFP4属于块级低精度格式，能在保持数值动态范围的同时显著压缩权重体积。需要注意，量化主要作用于权重存储与加载，激活与注意力计算路径仍需按框架支持情况确认，不能简单假设全链路低精度无损。

四、评测成绩怎么读：分档预算与框架差异

官方公布的基准成绩默认采用max思考档位，部分评测借助了智能体框架完成多步调用。具体数据如下：

评测项	成绩
Terminal-Bench 4.0	65.7
SWE Marathon v1.1	51.7
DeepSWE v1.1	75.5
BrowseComp	92.1
BenchCAD（带工具）	92.7
OfficeQA Pro v2	64.4

解读这组数字时有三个前提必须说明，否则容易误判：

• 思考档位不同结果不可直接比较。max档位意味着更长的内部推理，延迟与成本同步上升；生产环境更应关注high或low档位下的性价比曲线。
• 带工具与不带工具是两类任务。BenchCAD标注“带工具”，说明成绩包含外部工具协同，衡量的是“模型+工具链”的整体能力，而非纯生成能力。
• 框架影响显著。多步任务中，框架的提示组织、历史裁剪、错误重试策略都会改变最终得分。同一模型换框架，结果可能明显波动。

因此更稳妥的评估方式是：在自己的业务分布上抽取小样本任务集，固定框架与工具集，分别跑三档预算，记录成功率、步数与单任务成本三元组，再决定默认档位。

五、部署适配与多轮工具调用的关键细节

权重以MXFP4格式开放，推理侧可对接主流高性能推理框架，并提供OpenAI与Anthropic兼容的API形态，便于接入既有智能体运行时。

部署时最容易被低估的是多轮工具调用的历史保留规则：必须完整保留历史思考内容与工具调用消息。原因在于，长程任务的决策依赖前序推理链；若中间层对历史做裁剪或只保留工具返回值，模型会失去“为什么这样调用”的上下文，表现为重复调用、参数漂移或提前终止。

一个典型的消息组织示意（伪代码，仅表达结构）：

messages = []
messages.append({"role": "user", "content": task})
while not done:
    resp = model.chat(messages, thinking_budget="high")
    messages.append({"role": "assistant",
                     "content": resp.content,
                     "reasoning": resp.reasoning,      # 必须保留
                     "tool_calls": resp.tool_calls})   # 必须保留
    for call in resp.tool_calls:
        result = dispatch(call)
        messages.append({"role": "tool",
                         "tool_call_id": call.id,
                         "content": result})

配套的工程建议包括：为历史设置按Token计的硬上限并配合摘要压缩而非直接截断；对工具返回做结构化瘦身，剔除冗余日志；为每步设置超时与重试上限，避免长程任务无限挂起；以及在网关层记录每步的思考档位，便于事后归因成本。

六、适用场景与选型建议

结合架构特征，该版本更适合三类负载：一是需要跨文件、跨命令的长程代码智能体与软件工程任务；二是包含检索、文档处理与多工具编排的知识工作流；三是带工具链的3D/CAD类生成任务。对于低延迟、短交互的轻量场景，max档位并不经济，low档位配合更小的上下文窗口往往更合适。

最后提醒两点合规与工程底线：许可证非宽松协议，商用与再分发须先审条款；评测数字来自特定档位与框架，迁移到自有业务前务必做小样本回归，不要直接把公开榜单当作容量规划依据。长程智能体的竞争力，最终取决于架构效率、历史管理策略与工具链质量的合力，而非单一参数规模。