万亿参数大模型本地部署：显存测算与成本拆解

一、先厘清一个常见误解：激活比例不等于显存比例

讨论万亿级稀疏模型（MoE）的本地部署，最先要纠正的观念是：专家激活比例只影响算力消耗，不决定显存占用。

以一个总参数约 2.8 万亿的 MoE 模型为例，其架构包含约 896 个专家，每个 token 经路由后激活其中 16 个，专家激活比例约 1.79%。这个数字常被误读为”只需加载 1.79% 的参数”，但实际部署逻辑恰恰相反：

• 存储侧：全部 896 个专家的权重都必须完整驻留在显存（或可快速换入的存储层级）中，因为路由是动态的，任何一个专家都可能在下一个 token 被选中；
• 计算侧：每个 token 只经过 16 个专家，因此 FLOPs 消耗远低于同等总参数量的稠密模型；
• 结论：显存按总参数量规划，算力按激活参数量估算。两者不能混用。

此外，这类模型的主干通常采用线性注意力类结构（如 Delta Attention 变体）配合注意力残差连接，门控 MLA 等组件嵌套其中。这些结构组件虽然参数量占比不高，但在显存核算时同样不可遗漏。

二、4-bit 量化的真实数据下限：不只是”参数 × 0.5 字节”

假设该模型从监督微调阶段就引入了量化感知训练，权重采用 4-bit 浮点格式、激活采用 8-bit 浮点格式。很多人会简单计算：2.8 万亿 × 4 bit ÷ 8 = 1400GB。这个数字只是裸权重的理论下限，实际占用要高出一截。

原因在于 4-bit 浮点格式并非纯粹的 4 bit。按照业界通行的 OCP 微缩放规范，每 32 个 4-bit 元素需要附带一个 8-bit 的缩放因子（scale）。换算下来，每个权重元素的有效位宽为：

4 bit + (8 bit ÷ 32) = 4.25 bit

于是权重部分的数据量为：

2.8e12 × 4.25 bit ÷ 8 ≈ 1487.5 GB

这 1487.5GB 仍然只是权重本身。完整的显存预算还需要叠加以下几类开销：

1. 非 4-bit 张量：嵌入层、归一化层参数、部分门控与路由参数通常保留更高精度（如 8-bit 或 16-bit），不能按 4.25 bit 折算；
2. 元数据与对齐：张量描述符、分片索引、显存对齐填充等，通常带来数个百分点的额外占用；
3. 运行时工作区：推理引擎的临时缓冲区、算子融合中间结果、通信缓冲区（多卡场景）；
4. KV Cache：与上下文长度、并发数、批大小强相关，长上下文场景下这部分可能达到数百 GB 量级。

综合估算，权重加 scale 约 1.5TB，加上上述开销后，实际可用下限通常在 1.7～2TB 显存区间，具体数值取决于推理框架的实现效率与上下文配置。

三、横向参照：中等规模模型的显存账本

为了建立量级感，可以对照一个总参数约 685B（主参数 671B + 多 token 预测头 14B）的模型在 FP8 格式下的占用：权重大约 685GB。若进一步做 4-bit 权重量化，权重降至约 335GB，加上约 37GB 的激活动态占用，合计约 400GB——恰好能塞进 8 张 80GB 加速卡（合计 640GB）并留出余量。

这个对照说明一个规律：参数量每提升一个数量级，显存需求同步提升一个数量级，而量化只能把系数压低约一半（FP16→4-bit 约 4 倍，FP8→4-bit 约 2 倍）。万亿级模型即使压到 4-bit，依然需要 TB 级显存，单机八卡方案难以承载。

四、硬件选型：从单机到多机的三条路径

路径一：单机多卡（适合中等规模）

8 卡高显存服务器（单卡 80GB，合计 640GB）可覆盖 400GB 级别的 4-bit 部署。优势是部署简单、卡间带宽高、无跨机通信开销；劣势是显存天花板明确，无法承载 TB 级需求。

路径二：多机互联（万亿参数的现实选择）

承载约 1.7～2TB 显存需求，至少需要 3～4 台 8 卡节点（按 640GB/台计），并通过高速互联（如高速以太网或专用互联 fabric）组成推理集群。此时需要重点评估：

• 互联带宽：MoE 的专家并行会产生大量 all-to-all 通信，带宽不足会直接拖垮吞吐；
• 专家并行策略：专家分布到不同节点，路由时的跨机通信成为瓶颈，需要合理的专家放置与冗余策略；
• 显存碎片：TB 级显存下，分片粒度与对齐策略对有效利用率影响显著。

路径三：大显存专用节点

单卡显存更大的专用加速节点可减少卡数与跨机通信，但采购单价高、供货周期长，适合对延迟极敏感且预算充足的场景。

五、费用估算：硬件只是第一笔账

本地部署的总拥有成本（TCO）应分项核算：

1. 硬件采购

• 8 卡 80GB 级节点：单台价格通常在数十万元量级；
• 万亿参数部署需 3～4 台节点，硬件一次性投入可达百万元级；
• 若采用大显存专用节点，单价更高但节点数减少，需按实际报价权衡。

2. 机房与配套

• 供电：单台 8 卡服务器满载功耗可达 8～10kW，多机部署需要相应配电与散热改造；
• 制冷：高密度机柜需专业散热方案，改造成本常被低估；
• 网络：多机互联的交换设备与布线，占总成本的可观比例。

3. 软件与运维

• 推理引擎的适配与调优（专家并行、量化内核、批调度）需要专门人力；
• 模型权重更新、监控告警、故障恢复等日常运维持续产生成本；
• 电力与机房租金按年计费，长期运行下会逐步超过硬件折旧。

4. 隐性成本

• 量化带来的精度损失需要业务侧评估与兜底方案；
• 长上下文与高并发场景下，KV Cache 膨胀可能导致实际并发能力低于预期，需要预留显存余量。

粗略量级：万亿参数模型的本地部署，首年总投入通常在数百万元区间（硬件为主，叠加机房、电力、人力），后续年度以电力、运维与折旧为主。具体数字随硬件选型、机房条件与并发目标浮动很大，建议以实际报价为准。

六、落地建议：先回答四个问题

在启动采购前，建议先明确以下四点，避免”买得起跑不动”：

1. 并发与延迟目标是什么？ 吞吐目标直接决定是否需要多机、需要多少 KV Cache 余量；
2. 上下文长度需求多大？ 长上下文会显著抬高 KV Cache 占用，可能与权重争抢显存；
3. 精度底线在哪里？ 4-bit 量化是否满足业务评测，是否需要关键层回退到更高精度；
4. 是否有弹性需求？ 若流量波动大，混合方案（本地承载基线负载 + 弹性资源承接峰值）往往比纯本地更经济。

对于大多数团队，先用小规模量化模型验证业务效果，再按实测吞吐反推硬件规模，是比一次性采购 TB 级集群更稳妥的路径。万亿参数本地部署不是一道”能不能”的技术题，而是一道”值不值”的工程经济题。