从生成式AI到智能体：算力需求为何跃升千倍

一、AI不再只是应用：计算产业正在被重新定义

长期以来，业内习惯把AI看作跑在既有IT架构上的一类应用——与数据库、中间件、Web服务并列。但过去两年发生的范式迁移正在打破这一认知：AI不再只是“被部署的应用”，而是重新定义了从硬件形态、软件栈到商业模式的整条链路。

回顾计算产业的几次大规模迁移：从大型机到PC，算力从集中走向分散；从PC到移动互联网，交互从键鼠走向触控与随时在线。每一次迁移都催生了新的硬件主导形态、新的开发范式与新的商业计量单位。本轮AI驱动的迁移同样如此：硬件层面，算力重心从通用CPU转向面向矩阵运算的加速芯片；软件层面，深度学习框架与推理引擎正在成为新的“操作系统”；商业模式层面，“按Token计费”正在成为新的计量单位。

近期一场行业峰会上，基础设施领域的资深从业者给出了三个相互关联的判断：其一，AI重塑了计算机行业，并创造了一个全新行业；其二，头部模型厂商之所以疯狂争夺产能，是因为其产出的“Token”利润率极高；其三，为了让AI完成“理解—推理—规划—使用工具采取行动”的完整过程，所需计算量比单纯的生成式AI高出约一千倍。

这三个判断分别对应商业逻辑、产业格局与技术曲线，下文逐一展开。

二、Token经济：产能争夺的底层逻辑

Token是大模型处理文本的最小单位，也是推理服务的产出物与计费单位。理解“Token利润率极高”，需要先区分两种成本结构：训练是一次性投入，推理则是持续性产出。对推理服务而言，边际成本主要是加速卡的时间与电力消耗，而价格由供需关系决定。当模型能力具有稀缺性、产能供给受限时，单位Token的售价可以显著高于其边际成本，形成远高于传统云计算资源（如虚拟机、存储）的毛利率。

这也解释了产能争夺的动机：在供不应求的市场里，谁掌握算力产能，谁就能把稀缺性溢价收入囊中。扩产不是简单的规模扩张，而是对高毛利“产线”的抢占。

对使用方的启示同样直接：Token将成为一种需要精细管理的新型账单。企业需要像管理带宽、存储配额一样，为AI应用建立Token预算、用量监控与成本归因机制，否则智能体类应用的成本很容易失控。

三、从“一次生成”到“多步行动”：千倍算力从何而来

生成式AI的典型工作流是“一问一答”：用户提交一次提示词，模型执行一次前向计算，生成一段回答。其计算量近似与“输入长度+输出长度”成正比，是单次、有界的。

Agentic AI则完全不同。它被赋予的是目标而非问题，需要循环执行“感知→推理→规划→行动→观察→修正”，直到任务完成。这个循环引入了至少四个计算乘数：

1. 步数乘数：一个复杂任务可能被拆解为几十甚至上百个子步骤，每一步至少触发一次模型调用；
2. 上下文乘数：每一轮都要携带历史信息（先前的推理结论、工具返回结果、中间状态），上下文随轮次单调增长，而自注意力机制的理论计算量随序列长度呈平方级增长，KV缓存的显存占用也随之膨胀；
3. 候选乘数：为提升可靠性，工程上普遍采用自一致性投票、多方案生成、反思与校验等模式，同一个决策点可能被并行推理多次；
4. 协作乘数：在多智能体架构中，规划者、执行者、评审者各自独立调用模型，调用量进一步叠加。

做一个粗略的量级估算：50步循环 × 平均10次候选与验证 × 每步上下文规模为单次生成的数倍——三个乘数相乘，总体计算量恰好处在“约一千倍”的量级区间，这与前述行业判断在数量级上是自洽的。需要强调的是，“千倍”是量级判断而非精确统计，具体取决于任务复杂度、模型规模与工程策略，但它揭示的趋势是确定的：智能体把推理成本从“线性单次”推向了“超线性累积”。

用示意性伪代码可以更直观地看到差异：

# 生成式AI：单次前向，计算量有界
answer = llm(prompt)
# 智能体：循环 + 工具调用 + 校验，计算量随任务复杂度超线性增长
history, steps = [], 0
while not is_done(goal) and steps < MAX_STEPS:
    obs = env.observe()                        # 感知环境/工具返回
    ctx = render(history, obs)                 # 上下文随轮次增长
    thought = llm(ctx + "规划下一步动作")        # 推理与规划
    if need_verify(thought):                   # 可靠性校验
        review = llm(render(history, thought) + "校验该计划")
        thought = revise(thought, review)
    result = run_tool(parse(thought))          # 使用工具采取行动
    history.append((obs, thought, result))
    steps += 1

单次调用的成本与上下文长度相关（含注意力的平方项与KV缓存开销），调用次数由任务复杂度决定，两者相乘，就是智能体算力曲线陡峭上升的技术根源。

四、工程拆解：开销花在哪里，又该如何优化

理解了乘数来源，就可以针对性地开展成本工程：

1. 上下文管理：对多轮历史做裁剪、摘要与分层存储，避免第N轮重复承担前N-1轮的全部编码成本；滑动窗口与关键信息抽取是常用手段。
2. 前缀缓存复用：多轮对话中大量前缀是重复的，利用推理服务普遍提供的Prompt缓存能力，让重复部分“一次计算、多次复用”，可直接削减注意力的重复计算。
3. 模型分级路由：并非每一步都需要最强的模型。规划与复杂推理交给大模型，格式转换、简单抽取交给小模型，可在几乎不损失任务完成率的前提下显著摊薄成本。
4. 吞吐优化：采用连续批处理等推理调度技术提高加速卡利用率；对延迟不敏感的离线任务与延迟敏感的在线任务分离部署。
5. 可靠性与成本的权衡：自一致性、反思、工具结果校验都会增加调用量。工程上应按任务风险分级——高风险决策多花算力做验证，低风险操作直接执行，避免“一刀切”的冗余推理。

五、算力之外：空间智能仍是能力短板

值得注意的是，算力供给的增长并不能自动补齐能力短板。业界讨论中反复出现的一个现象是：当前在主流视觉基准测试中表现优异的模型，大多建立在二维平面推理之上——它们处理的是二维网格上的像素关系。一旦要求模型进入真实三维场景，判断物品的空间位置、遮挡关系、距离与方位，表现往往显著下滑，此前在基准测试上建立的能力预期会迅速“破灭”。

这一短板对Agentic AI尤为关键。智能体的核心定义是“使用工具采取行动”，而行动发生在具有空间结构的世界里：机器人要在房间中导航，工业智能体要在三维数字孪生环境中定位设备，自动驾驶要对道路参与者做立体感知。没有可靠的三维表征、几何先验与多视角一致性，“感知—规划—行动”的闭环就会在最底层的感知环节失真。

因此，“多模态+空间智能”被普遍视为下一个技术竞争焦点：它不仅关乎模型能力的上限，也决定了智能体能否从数字世界走向物理世界。

六、对基础设施与工程实践的影响

对开发团队与架构师而言，上述趋势意味着几项具体的工作转变：

1. 算力规划从“峰值QPS”转向“任务级预算”：为智能体任务预估步数上限、上下文规模与Token预算，设置熔断与降级策略，避免单个失控循环拖垮成本。
2. 建立成本与质量的联合看板：对每次调用记录Token消耗、循环步数、工具延迟与任务完成率，用数据回答“多花一倍算力换来的准确率提升是否值得”。
3. 用好云上通用能力：GPU算力弹性调度、容器编排、日志服务、监控告警等通用云能力（主流云平台如百度智能云均提供此类能力）构成智能体落地的基本盘，团队可按需组合，把精力集中在编排逻辑与评测体系上。
4. 评测体系升级：从“单轮问答质量”扩展到“任务完成率、平均步数、单位任务Token成本”等多维指标，让智能体的迭代优化有据可依。

七、结语

“AI重塑计算产业”不是一句口号，而是三条清晰曲线的叠加：Token经济决定了产能扩张的商业逻辑，Agentic AI决定了算力需求的技术曲线，空间智能决定了能力边界的位置。对开发者而言，比追逐模型本身更重要的，是掌握“把智能体任务映射为可控计算预算”的工程能力——在算力昂贵、行动循环成倍放大的时代，成本工程与能力建设同等重要。