如何本地部署超万亿参数大模型？要花多少钱

一、先说结论：这不是“买几张顶级显卡”能解决的问题

近期开源的某款超大规模混合专家（MoE）大模型热度很高：总参数约2.8万亿，每个Token实际只激活约1040亿参数。很多开发者的第一反应是“激活量只有千亿级，是不是几张卡就能跑起来？”——结论恰恰相反：即便只要求“能跑”，硬件门槛也已经越过了普通工作站的天花板，是标准的服务器级、甚至小型集群级项目。

原因在于MoE部署的第一性原理：路由机制决定了每个Token都可能命中任意专家，因此全部专家的权重必须完整驻留在显存中，无法因为“平均只激活不到4%”就裁掉其余部分。记住一条主线：激活参数量决定速度上限，总参数量决定显存下限，这两件事必须分开算。

二、先把显存账算清楚

1. 权重本体：约1.4TB

该模型原生采用MXFP4格式——这是一种带分块缩放的4位浮点表示，属于官方设计精度，而不是把FP16权重事后压缩到4bit的“残血版”。这意味着4bit下的精度损失在设计阶段就已消化，不存在常见的后量化劣化问题。

显存估算非常朴素：

总参数量 × 每参数比特数 ÷ 8
= 2.8万亿 × 4bit ÷ 8
≈ 1.4 TB

有人会问：能不能量化得更狠一点省显存？官方发布精度就是4bit，不存在更低的官方档位；更激进的社区量化方案即便出现，效果也需要自行验证，不应作为部署规划的前提。

2. 叠加运行开销：单用户约1.5TB

纯权重只是理论下限，实际运行还要叠加：

• 激活值：前向计算的中间张量；
• 框架运行时：调度、通信缓冲、算子与计算图缓存等开销；
• KV缓存/状态空间：随上下文长度线性增长，长文本场景尤甚。

综合估算，单用户实跑约需1.5TB量级GPU显存。作为参照：消费级旗舰显卡单卡显存不过24~32GB——即便不考虑多卡互联、供电与散热，纯拼容量也要几十张，这条路线完全走不通。

三、三档需求，对应三档门槛

档位一：只要能跑，不关心速度

从纯容量出发，理论下限约为：

• 19张80GB级数据中心GPU（上一代主流算力卡）；
• 或11张140GB级的高显存版本。

但这里有个容易踩的坑：这两代GPU的数值格式支持较老，不能原生执行MXFP4计算，需要运行时反量化——权重能装进去，但解码过程要持续做格式转换，速度会被明显拖累，属于“能装下”而非“跑得好”。理论上也可以用更多老卡跨机拼容量，但跨机部署需要高速RDMA网络支撑，张量并行/专家并行的切分复杂度也随之上升，并不比单机方案省心。

更现实的最低配置是：8张新一代256~288GB级数据中心GPU组成的单节点。业界主流推理引擎公开给出的部署参考同样是8卡并行起步。也就是说，“能跑”这一档的门槛就是一个完整的多卡服务器节点。

档位二：单人使用，稳定25 Token/s

硬件起点依然是8卡新一代GPU，原因很直白：1.4TB权重必须先装得下。MoE的显存需求与并发数无关，你没法因为“只有一个人用”就缩成两三张卡——权重少一张卡都装不全。

8卡能否稳定达到25 Token/s？可以从解码阶段的带宽瓶颈做量级判断。对MoE而言，每生成一个Token，解码路径大致要搬运“激活参数×4bit”量级的权重，约52GB（不含KV），因此单路解码是典型的带宽受限场景，可粗略估算：

单路吞吐上限 ≈ 有效显存带宽 ÷ 每Token需搬运的字节数

8卡节点聚合带宽充裕，单路输出“每秒数十Token”属于合理量级。25 Token/s是现实目标，但不是可以拍脑袋保证的目标——长上下文、采样参数、框架实现差异都会影响实际值，上线前必须用真实上下文长度压测。

档位三：10路并发，每路25 Token/s

聚合吞吐要求：10 × 25 = 250 Token/s以上。

有意思的是，这一档的显存配置未必比档位二高。权重对全部并发请求共享，并发增加的只是每路请求的KV缓存与调度开销。参考公开估算：一个8卡节点至少可驻留约40个并发请求；如果上下文不是百万Token级别，理论可驻留数还会更多。

所以10并发本身并不迫使你上第二台服务器。真正要回答的问题是：10路同时生成时，每一路还能否维持25 Token/s。这是吞吐与调度能力问题，取决于批调度效率与MoE专家分发通信的效率，只能实测回答，无法靠显存容量倒推。

四、算钱：一年下来要烧多少

这类数据中心GPU几乎没有零售渠道，现实路径基本只剩云租赁。以某云厂商公开的12个月预留实例报价为参考：这类新一代GPU约合每卡每小时4~5美元，8卡整节点折合每小时约38美元。以此推算：

每小时：约38美元
每天（24小时）：约900美元
每月（30天）：约2.7万美元
每年（365天）：约33万美元

这只是裸算力租金，还没算推理服务栈的搭建维护、监控告警、故障恢复，以及压测调优投入的工程时间。

若选择自建：8卡新一代GPU服务器的整机采购价通常在数十万美元量级，还需配套约10kW级别的供电制冷与机房托管，外加折旧与运维人力。对绝大多数团队，自建在资金与人力上都不划算。

五、动手之前，先回答三个问题

1. 真的需要本地部署吗？ 只有数据合规要求模型不出域、Token用量大到按量计费明显更贵、对时延与可用性有极致要求的场景，才值得考虑自建。多数业务直接使用云端推理服务或API按量计费更经济，例如百度智能云提供的大模型推理类服务，可以把底层算力与运维负担整体转移出去。

2. 选对硬件代际了吗？ 一定要选原生支持4bit浮点格式的新一代GPU。老代际“能装下但跑不快”，反量化开销会持续放慢解码速度，等于花8卡的钱得到4卡的体验。

3. 压测做了吗？ 显存账只回答“装不装得下”，性能必须实测。建议的压测清单：

• 用真实业务的短、中、长三档上下文分别压测；
• 分别测单路延迟与目标并发下的每路吞吐；
• 观察长上下文下KV缓存增长对驻留请求数的影响；
• 确认采样参数与真实使用场景一致。

六、结语：一张表总结

需求档位	硬件下限	关键约束	是否需实测
能跑就行	8卡新一代数据中心GPU	1.4TB权重驻留	宽松
单人25 Token/s	同上	带宽与解码效率	必须
10并发×25 Token/s	大概率单节点够用	聚合吞吐与调度	必须

一句话总结：显存决定下限，带宽与调度决定上限，账单决定要不要自建。按当前云价，8卡节点7×24运行的年成本在30万美元量级；如果业务量没有大到能摊薄这笔钱，云端推理服务永远是更务实的第一选择。