本地部署万亿参数 MoE 模型：显存门槛与成本拆解

一、先搞清楚：参数量到底对应什么资源

讨论”本地部署一个万亿参数级模型要花多少钱”之前，必须先区分两组经常被混淆的概念：

• 总参数量决定存储占用。MoE 架构下，所有专家都必须常驻在存储介质或显存中，推理时再按路由动态调用。
• 激活参数量决定算力消耗。每个 token 只经过少数专家，因此浮点运算量远小于总参数量所暗示的规模。

以业界常见的一类超大规模 MoE 模型为例：总参数约 2.8 万亿，包含 896 个专家，每个 token 激活其中 16 个，专家激活比例约 1.79%。需要特别强调：这是专家激活比例，不等于严格的参数激活比例——因为注意力主干、共享层、嵌入层等非专家部分始终参与计算，实际激活参数占比会高于该数值。

结论很直接：MoE 部署的显存占用按总参数估算，激活比例只影响算力预算。

二、量化格式：从裸数据到真实占用

2.1 4-bit 只是起点

假设该模型从监督微调阶段就引入了量化感知训练，权重采用 4-bit 的 MXFP4 格式，激活采用 MXFP8。那么 2.8 万亿参数转为 4-bit 后，裸数据下限为：

2.8e12 × 4 bit ÷ 8 = 1400 GB

但 1400GB 只是理论下限。MXFP4 属于块浮点格式：每 32 个 4-bit 元素额外携带一个 8-bit 的缩放因子（scale）。按 OCP 规范折算，每个权重元素的实际平均位宽为：

4 + 8/32 = 4.25 bit

于是权重部分实际占用：

2.8e12 × 4.25 bit ÷ 8 ≈ 1487.5 GB

2.2 容易被忽略的五类开销

1487.5GB 仍不是最终答案。真实部署还要叠加：

开销类型	说明
非 4-bit 张量	嵌入层、归一化层、路由门控等通常保持更高精度
元数据	专家索引、路由表、张量描述符
内存对齐	张量按硬件要求填充，通常有 5%～10% 浪费
运行时工作区	算子临时缓冲、通信缓冲区
KV Cache	随并发数与上下文长度线性增长

工程上，把上述因子综合后，整机显存需求通常要在理论权重值上再上浮 20%～40%。

2.3 一个可参照的对照案例

为建立量感，可参考中等规模 MoE 模型的部署经验：某 671B 主参数 + 14B 多 token 预测参数的模型，在 FP8 下约 685GB；改用 4-bit 权重量化后约 335GB 权重加 37GB 激活，合计约 400GB 才能在 8 张 80GB 加速卡（640GB）上运行。

按体量比例推算，2.8 万亿参数模型的满血部署下限约为上述案例的 4 倍以上。这意味着：单机 8 卡方案基本不可行，必须走多节点超节点路线。

三、通信：比显存更隐蔽的瓶颈

大规模 MoE 推理对 all-to-all 通信带宽极度敏感。原因在于推理流程本身：

token → 路由计算 → 分发到目标专家所在卡 → 专家计算 → 回收激活值 → 继续下一层

896 个专家分散在多张加速卡上，每个 token 在每一层都要经历一次”搬出去—算完—搬回来”。通信延迟若无法被计算掩盖，算力利用率会急剧下降。

这正是超节点方案的价值所在：通过高带宽、低延迟的互联域（如 NVLink 或同等高速互联），把 all-to-all 通信限制在单个通信域内完成，避免跨域长距离传输。工程建议：

• 专家分布尽量与互联拓扑对齐，减少跨交换机的流量；
• 采用分层 all-to-all，先在节点内聚合再跨节点传输；
• 对路由做容量因子限制，避免热点专家引发通信倾斜；
• 使用计算通信重叠，把分发阶段与上一层的计算交错执行。

四、成本估算框架

部署成本可拆为四块，建议按下列顺序估算：

4.1 加速卡数量

以满足显存需求为第一约束。以单卡 80GB 为例：

所需卡数 ≥ 总显存需求 ÷ 80GB

若整机需求落在 2000GB 量级，则至少 32 张卡；考虑 KV Cache 与工作区余量，64 张以上加速器组成的超节点是更现实的起点。

4.2 互联与整机

超节点不是简单堆卡，需要匹配的高速交换、供电与散热。这部分成本常被低估，实际可能占到总投入的 20%～30%。

4.3 电力与运维

万亿参数模型的推理功耗以数十千瓦计。按年运行计算，电费与制冷成本需要单独建模，通常与硬件折旧同量级。

4.4 量化与蒸馏的取舍

如果预算有限，可考虑：

• 更激进的量化（如 2-bit 权重），但需重新做量化感知训练，精度损失需评估；
• 专家剪枝或层数裁剪，用精度换显存；
• 采用稀疏激活更极端的架构变体。

需要提醒的是：任何压缩手段都必须在目标业务上做端到端评测，离线指标与线上效果往往存在差距。

五、落地检查清单

在真正下单采购前，建议逐项确认：

1. 目标模型的权重格式与量化方案是否公开可用；
2. 推理框架是否支持该 MoE 架构的路由与并行策略；
3. 显存需求是否已计入 KV Cache 与运行时开销；
4. 互联带宽能否覆盖 all-to-all 峰值流量；
5. 电力、散热、机柜承重是否满足整机要求；
6. 是否有可回退的小规模验证方案（如先跑低并发压测）。

小结

万亿参数 MoE 模型的本地部署，本质上是一道显存容量 × 互联带宽 × 电力供给的三元约束题。量化格式决定了显存下限，MoE 路由决定了通信压力，而超节点互联决定了这些算力能否真正被吃满。把这三件事算清楚，成本估算才不会停留在”参数除以 8”的粗糙阶段。对于大多数团队而言，先在小规模集群上验证通信效率与推理框架的兼容性，再决定是否扩展到完整超节点，是风险更低的路径。