万亿级稀疏模型的技术拆解与工程启示

一、背景：为什么万亿级稀疏模型值得关注

大模型发展正在同时向两个方向延伸：一方面是扩大参数规模以提升容量和泛化能力，另一方面是控制推理成本，使大模型真正具备工程可用性。传统稠密模型在参数规模达到数千亿后，训练与推理开销会迅速逼近不可持续的水平。稀疏模型通过条件计算，在每次前向计算中只激活部分参数，从而把“模型容量”和“单次推理计算量”解耦。这种思路已经成为大规模模型演进的重要方向。

在此背景下，一类融合视觉与文本的多模态稀疏大模型逐渐成为研究热点。其核心目标不是单纯追求参数规模，而是在万亿级总参数的前提下，维持较低的激活参数比例，同时保证训练稳定、长上下文处理能力和复杂任务推理能力。理解这类模型的设计，不仅要看某项单点技术，还要看架构、训练策略、后训练流程如何协同工作。

本文不会围绕某个具体产品展开，而是从通用技术视角出发，拆解一个具有代表性的万亿级稀疏多模态模型设计。相关技术概念均基于业界公开讨论与常见研究思路，旨在帮助开发者和工程团队理解背后的设计逻辑与工程取舍。

二、整体架构：稀疏容量与计算效率的平衡

该模型的总参数量达到万亿级别，但单次前向计算只激活约千亿参数。这种设计使得模型能够拥有极大的知识容量和任务覆盖能力，同时将推理计算控制在一个相对可控的范围。

稀疏模型通常由若干专家模块组成，每个输入 token 不会经过全部专家，而是由路由机制选择其中一部分。路由模块需要判断“当前 token 应该交给哪些专家处理”，这一过程必须足够轻量，否则会成为新的瓶颈。模型中专家数量接近九百个，这意味着每个 token 只会与极少部分专家发生实际计算。对于单个 token 而言，真正参与计算的专家数量远小于总专家规模，因此不同 token 之间可以实现隐式并行与负载分层。

与纯文本模型不同，该模型原生支持视觉输入。视觉 token 与文本 token 会进入统一的表示空间，并由同一套稀疏计算主干处理。这种设计避免了外挂视觉编码器与语言主干之间的割裂，有助于在多模态任务中形成更一致的语义表示。对开发者而言，原生多模态意味着模型不需要在推理阶段进行复杂的模态适配，也能更自然地将图像理解、图文推理和长文本生成组织在同一任务流中。

三、注意力机制：局部压缩与跨层共享

超长上下文场景下，传统自注意力机制的计算量与序列长度呈二次关系，难以支撑百万级 token 的输入。模型采用了增量注意力与门控多头潜在注意力的融合结构。

增量注意力适用于流式输入和已经缓存的历史序列。它不是对全部历史 token 重新计算注意力，而是维护可更新的状态，在新增 token 到来时进行增量更新。这种机制显著降低了长序列推理时的重复计算，尤其适合文档分析、代码库级理解、长会话式交互等场景。由于推理过程往往需要多次读取同一段长上下文，增量缓存可以带来明显的效率收益。

门控多头潜在注意力则通过低秩压缩，把键值表示映射到较小维度的潜在空间，再由门控机制决定不同注意力头对信息的保留程度。相比直接保存完整的键值缓存，潜在注意力可以减少缓存占用，同时增强注意力头对不同信息通道的选择能力。门控结构还带来了额外的好处：模型可以学会在部分注意力头上压制噪声或冗余特征，从而提升长文本中的信息聚焦度。

另一个值得注意的设计是注意力残差。不同层之间的注意力输出通过残差路径共享信息。深层注意力不再只依赖当前层的上下文表示，还可以读取浅层已经形成的注意力摘要。这种跨层连接有助于缓解深层网络中的信息衰减，也为长链推理提供了更稳定的信息传递通道。工程实现上，注意力残差需要谨慎控制连接范围与维度匹配，否则可能引入额外通信开销。

四、稀疏 MoE：路由、稳定与负载均衡

专家数量达到近九百个后，训练稳定性与负载均衡成为关键难点。模型使用了稳定潜在路由的 MoE 结构。与典型的显式路由不同，潜在路由不在原始 token 空间直接选择专家，而是先将其映射到潜在表示，再在潜在空间中完成专家分配。这样做的目的之一是让路由过程更加平滑，降低离散选择带来的梯度不稳定。

在稀疏网络中，常见问题包括专家负载不均、部分专家长期不被激活、梯度在路由边界处震荡等。针对这些问题，模型采用了分位点平衡机制。该机制不要求每个专家在每批数据中接收完全相同的 token 数，而是基于负载分布的分位点施加约束。相比强制均匀分配，这种方式允许专家负载存在一定弹性，同时避免极端不平衡。对于工程团队来说，这种思路比简单引入负载均衡损失更稳健，也更容易与动态批大小和分布式训练策略兼容。

激活函数方面，模型采用了 SiTU-GLU。它属于门控线性单元的一种改进形式，通过引入更平滑的非线性变换，改善深层网络中的梯度传播。在万亿级参数的稀疏网络中，单点激活函数的影响会被跨层累积放大，选择数值稳定性更好的激活形式，有助于减少训练过程中的偶发发散。

围绕近九百个专家的并行训练，还需要解决专家分布与设备拓扑之间的关系。通常有两种并行策略：专家并行与数据并行。不同专家可能被放置在不同计算节点上，token 经过路由后产生跨节点通信。通信模式与路由结果有关，因此训练框架需要有能力处理动态通信。潜在路由的稳定性会直接影响通信调度的可预测性。模型虽然没有公开完整训练细节，但从结构设计可以看出，它倾向于让路由行为更可预测，以换取更高的训练吞吐。

五、多阶段长上下文训练

百万级 token 的超长上下文不是一次性训练得到的，而是采用 8K、64K、256K、1M 的渐进式训练方案。多数长上下文模型都遵循相似路径，因为直接从短序列切换到超长序列，会导致位置编码失效、训练不稳定和收敛缓慢。

渐进式扩展上下文长度有多重意义。首先，模型可以在每个阶段充分吸收当前上下文范围内的语义关联，而不会因为过早进入超长序列导致注意力分布失焦。其次，长序列训练数据往往质量不均，短序列阶段可以依靠更大规模的高质量语料打牢基础，长序列阶段则更多依赖经过筛选的书籍、代码仓库、论文长文、多轮任务轨迹等数据。最后，渐进扩展也有助于工程团队逐步优化分布式训练配置，因为不同长度下的显存占用、流水线切分和重计算策略差异很大。

在 1M token 长度下，训练框架必须解决中间激活值的内存占用问题。常见技术包括重计算、激活卸载、分块注意力以及状态化缓存。对于超过单卡甚至单机显存容量的序列，通常需要结合张量并行、流水线并行和序列并行，同时引入细粒度重计算策略，只保存关键检查点。模型原生长上下文能力并不只来源于架构，也来源于训练框架对长序列的系统性优化。

agentic-">六、Agentic 后训练：面向长程任务与工具调用

大规模模型训练完成后，通常会进入有监督微调和强化学习阶段。该模型特别强调了百万 token 级 Agentic RL 后训练。这里的重点不是简单回答单轮问题，而是让模型具备在长任务中维持目标、规划步骤、调用工具、观察结果并调整策略的能力。

Agentic RL 的训练样本往往不是单一问答对，而是完整的交互轨迹。轨迹中包含模型思考、工具调用、环境返回、失败重试等环节。与普通对话数据相比，这类轨迹长度可能达到数十万甚至百万 token，因此模型必须学会在海量上下文里准确读取关键信息，而不是被历史步骤淹没。

奖励设计是另一个难点。单步任务可以给出清晰的即时奖励，而长程任务通常只有最终结果可评价。为了让训练信号不至于过度稀疏，实践中会引入过程奖励、子目标奖励和轨迹长度惩罚。模型需要学会在必要时进行局部试错，但不能无限循环。通过 Agentic RL，模型在多步代码修改、文档级信息检索、复杂工作流执行等场景中，可以获得显著高于单纯指令微调的表现。

从工程角度来看，长轨迹强化学习对基础设施要求很高。训练框架需要支持可变长度轨迹、工具调用沙箱、并行环境回放以及经验样本重排。某种程度上，模型能力上限不仅取决于算法本身，也取决于训练平台能否稳定支持这种长时间、多步骤的交互训练。

七、工程启示与未来方向

该类模型的实践给大模型研发带来若干启示。其一，模型容量与推理效率可以分离，稀疏化是扩展模型容量的重要手段，但前提是路由、负载均衡和训练稳定性都要同步解决。其二，超长上下文能力不应被当作单点功能，它需要架构、训练数据和底层训练框架协同演进。其三，面向 Agent 的后训练正在成为大模型落地的关键环节，其训练形式与人才结构都与传统语言模型训练存在明显差异。

对于企业开发者而言，在评估或构建类似能力时，不宜只关注参数规模。更值得关注的是激活参数、长序列推理延迟、缓存占用、多模态接入方式以及工具调用上限。只有把这些指标与实际业务成本放在一起，才能形成对模型能力更真实的判断。

未来，稀疏模型在推理侧还可能通过更细粒度的专家缓存和按需加载，进一步降低长尾场景的资源占用。同时，随着多模态数据在训练语料中的占比提升，视觉与文本协同推理能力有望从“能够理解图像”走向“能够围绕图文内容进行长程规划”。这一过程不会仅由单项技术驱动，而是由模型结构、训练策略、基础设施与真实场景反馈共同推动。