决策模型崛起：智能体决策层解耦与轻量执行实践

一、从“一个模型包打天下”到分层执行

过去两年构建智能体（Agent）的主流做法，是让通用大模型承担从复杂推理到简单工具路由的全部环节。在智能体刚起步的阶段，这种方案具备合理性：一个模型解决所有问题，架构简单、链路直接、调试路径短。但当智能体真正进入生产环境、承载稳定流量之后，瓶颈便迅速暴露。

问题出在任务结构本身。一个完整的智能体任务里，真正需要复杂推理的环节往往只占少数，而大量存在的是琐碎但关键的判断：工单该分给谁、请求是否需要人工介入、当前步骤是否继续、下一步调用哪个工具、某段输出是否通过校验。这类判断的答案空间有限、调用量极大，且大多位于任务的关键路径上。如果用性能最好的通用大模型逐一处理，延迟会随判断次数线性叠加，账单也会随 Token 消耗持续增长。

决策模型（Decision Model）正是为这类“高容量、有边界”的判断而设计的执行层。它不生成文本，只在给定一组固定选项时返回校准后的概率分数，支持是非题、选择题和评分选项，也可依据评分标准评估智能体回复与操作。把决策层从推理层中拆出来，意味着工作流中的每一个判断节点都可以被独立优化、独立监控、独立替换。

二、为什么必须解耦：成本与延迟的双重驱动

解耦的直接驱动力来自两个可量化的工程指标。

延迟方面，轻量决策模型的端到端延迟通常在数十毫秒到数百毫秒量级，相比通用大语言模型可快一到两个数量级。对于一个包含数十个判断节点的任务链路，这种差距会被逐节点放大，最终决定用户感知到的响应速度。

成本方面，通用大模型的每次调用按 Token 计费，而高频判断本身并不需要长篇生成。用轻量模型处理这些判断，可以把昂贵的推理资源留给真正需要的“重”任务。

可以用一个简单的伪代码描述这种分工：

def run_agent_task(task):
    plan = llm_reason(task)                  # 重任务：复杂推理与生成
    for step in plan.steps:
        route = decision_model.route(step)   # 轻任务：工具/模型路由
        if decision_model.need_human(step):  # 轻任务：是否人工介入
            return escalate(step)
        result = execute(route, step)
        if not decision_model.validate(result):  # 轻任务：结果校验
            continue
    return finalize(plan)

这种结构的关键在于：决策模型不取代大模型，而是与之形成分工共存的关系。通用模型负责需要复杂推理和生成的“重”任务，决策模型负责工作流中大量“轻”的重复性判断。二者边界清晰，各自可独立演进。

三、决策层的工程特征

输入输出有界。决策模型的输入是结构化上下文与候选选项，输出是概率分数或排序结果，不存在开放式生成。这让输出可校验、可回归测试，也便于设置阈值与降级策略。

可校准。概率分数需要经过校准才能用于阈值判定。工程上应定期用标注样本评估校准质量，避免出现“分数很高但实际命中率低”的假阳性问题。

可组合。多个判断节点可以串联为决策链，也可以并行打分后统一仲裁。建议为每个节点定义明确的失败语义，例如分数低于阈值时走默认分支而非直接中断任务。

可观测。除常规的延迟、错误率外，还应记录决策分布、阈值命中率、人工介入比例等指标，用于发现漂移与退化。

四、企业落地场景：卡点比大模型更重要

在实践交流中可以观察到，数字化基础较好的企业已经进入用 AI 切入具体工作流的阶段。不少企业已放弃训练垂直大模型的思路，转而把业务逻辑融入流程，逐个解决业务环节的卡点。

这类卡点的共同特征是：判断密度极高、单次判断逻辑简单、但对稳定性要求高。例如工单分派、请求分级、步骤放行、结果合规校验等。决策模型为这类判断提供了专门的执行层，使企业可以在不改动整体架构的前提下，把高频判断从通用模型中剥离出来。

五、实践建议

1. 先做节点盘点：统计工作流中判断节点的调用量、延迟占比与成本占比，优先解耦高频且位于关键路径的节点。
2. 定义选项空间：为每个判断节点固定候选集合与默认分支，避免开放式输出带来的不确定性。
3. 建立校准与回归：用标注样本持续评估概率分数的校准质量，并将阈值调整纳入版本管理。
4. 设计降级路径：当决策模型不可用或分数异常时，回退到规则或人工，保证任务不中断。
5. 与通用模型协同：把重推理留给通用模型，把轻判断交给决策层，通过链路编排实现整体最优。

决策模型的价值不在于替代推理，而在于让智能体的判断环节变得可度量、可优化、可负担。随着工作流复杂度上升，这种分层执行的结构会成为智能体工程化的基础设施之一。