大模型推理能效与单位算力成本深度解析

一、从一个工程问题说起：一度电能产出多少 token

在大模型规模化落地阶段，推理成本已经成为比训练成本更持续、更贴近业务的支出项。一个常被工程团队问起的问题是：一度电到底能产出多少 token？这个问题看似简单，实际上串联了硬件功耗、机房能效、推理吞吐、输入输出结构、定价模型等多个变量。

一个常用的估算框架是：先确定单卡有效功耗，再确定单卡聚合输出吞吐，两者相除得到每 token 能耗，最后用一度电的焦耳数反推 token 总量。基于主流高算力加速卡的推理集群场景，可以做如下假设：

• 单卡功耗约 700W，叠加机房制冷、网络、CPU 等配套开销，按 PUE≈1.3 折算，有效功耗约 900W；
• 前沿大模型在大批量推理场景下，单卡聚合输出速度约 1000 token/秒，保守区间可取 500–3000 token/秒。

由此，每生成一个输出 token 的能耗约为：

900 焦耳/秒 ÷ 1000 token/秒 = 0.9 焦耳/token

一度电等于 360 万焦耳，因此：

3,600,000 ÷ 0.9 ≈ 400 万输出 token/度

这个数字说明，在理想的大批量推理条件下，单位电力可以支撑相当可观的输出 token 规模。但要注意，它是量级估算，而不是精确承诺值——吞吐会随模型规模、批大小、序列长度、KV Cache 策略、量化精度等因素显著波动。

二、输入侧与输出侧的能耗差异为何如此之大

很多人会忽略一点：输入侧（prefill）与输出侧（decode）的计算特征完全不同，能耗效率也相差一个数量级以上。

输出侧是自回归逐 token 生成，每生成一个 token 都要做一次前向计算，且受解码阶段的串行性限制，单卡聚合吞吐相对有限，因此单 token 能耗较高。输入侧则是预填充阶段，可以对整段 prompt 做并行计算，矩阵运算的并行度和硬件利用率都更高，吞吐可达约 1 万 token/秒/卡，折算下来每 token 能耗约 0.09 焦耳，一度电可处理约 4000 万个输入 token。

这个差异对成本结构有直接影响：

• 长上下文、RAG、文档问答类业务，输入 token 占比极高，单位电力的产值主要来自输入侧；
• 对话、创作、代码生成类业务，输出 token 占比高，单位电力产值主要来自输出侧；
• 混合业务需要按实际输入输出比例加权计算，不能简单用输出侧数据外推。

三、把 token 换算成钱：单位电价产值的折算方法

能耗只是中间量，业务方真正关心的是单位电力对应的收入或成本。按常见的 API 定价结构做折算：

• 输出侧按 50 美元/百万 token 计：400 万 token × 50 美元/百万 ≈ 200 美元/度；
• 输入侧按 10 美元/百万 token 计：4000 万 token × 10 美元/百万 ≈ 400 美元/度；
• 按 3:1 的典型输入输出比混合，折合约每度电 250–300 美元，约合人民币 1800–2200 元/度。

考虑到吞吐量的不确定性，合理区间大致在 100–800 美元/度，约合人民币 700–6000 元/度。这个区间跨度很大，恰恰说明推理经济性对工程优化高度敏感。

需要强调的是，上述折算反映的是“电力成本对应的 token 产值”，并不等于毛利。真实成本还包括硬件折旧、网络带宽、存储、运维人力、冗余容量等。电力在总成本中的占比，会随集群利用率和硬件采购成本变化，通常在 10%–30% 区间浮动。因此单位电价产值更适合作为容量规划与能效优化的参考指标，而不是定价依据。

四、影响单位 token 能耗的关键变量

要提升单位电力产出，需要理解哪些变量在起作用。

1. 批大小与调度策略
增大批大小可以提升硬件利用率，降低单 token 能耗，但会带来延迟上升和显存压力。连续批处理（continuous batching）通过在 token 级别动态拼接请求，能在延迟与吞吐之间取得更好平衡，是提升能效的核心手段之一。

2. 序列长度与 KV Cache 管理
长序列会显著增加 KV Cache 显存占用和访存开销，降低有效吞吐。分页式 KV Cache 管理、前缀缓存复用、KV 量化等手段，可以缓解长上下文场景下的能效下降。

3. 量化与精度
从 FP16 到 FP8、INT8 甚至更低精度，计算吞吐和显存带宽压力都会下降，单位 token 能耗随之降低。但量化会带来精度损失，需要按业务对质量的要求做取舍。

4. 模型架构与稀疏化
MoE 架构通过稀疏激活降低单 token 计算量；投机解码、蒸馏小模型等手段也能在保持质量的前提下提升吞吐。这些方法对能效的影响往往是数量级的。

5. 机房能效与负载率
PUE 从 1.3 优化到 1.1，意味着同样的 IT 功耗下总能耗下降约 15%。而集群负载率从 40% 提升到 70%，单位 token 分摊的固定能耗也会明显下降。能效优化不仅是芯片问题，也是数据中心和调度问题。

五、可复用的容量与成本评估框架

面向实际业务，建议按以下步骤建立评估框架：

1. 明确业务输入输出比例（按 token 统计，而非请求数）
2. 测量目标模型在目标硬件上的实际吞吐（区分 prefill 与 decode）
3. 用实测吞吐替代理论值，计算单 token 能耗
4. 叠加 PUE、负载率、冗余系数，得到单位 token 综合电力成本
5. 结合定价或内部结算价，计算单位电力产值与毛利空间
6. 定期复测，跟踪量化、批调度、缓存策略优化带来的能效变化

在工程实践中，还应建立按业务线拆分的 token 计量与能耗归集能力，把“每万 token 成本”作为与延迟、可用性并列的核心指标。只有这样，能效优化才能从经验判断走向数据驱动。

六、结语

大模型推理的经济性，本质上是一个“电力—算力—token—价值”的转换效率问题。一度电产出数百万输出 token 的量级估算，为容量规划提供了直观锚点；而输入输出结构的差异、吞吐的不确定性、以及量化与调度等优化手段，决定了实际能效可能在数倍范围内浮动。对开发者与企业而言，建立可复用的计量与评估框架，比记住某个具体数字更重要。在算力资源日益成为核心生产要素的背景下，能效意识应当贯穿模型选型、服务架构与运营监控的全流程。