开源决策模型崛起：从“生成文本”到“输出判断”的技术路线

一、背景：为什么需要“不写长文”的模型

过去两年，大语言模型的主流叙事围绕“生成”展开——写文章、写代码、做总结。但在真实的生产系统里，大量调用并不需要一段漂亮的自然语言，而只需要一个明确的结论：这条工单属于哪个类别、这次请求应该路由到哪个下游服务、这张图片是否违规、这个选项的置信度是多少。

传统做法是用一个通用生成模型加提示词来“逼”出结构化输出，问题在于：输出长度不可控、格式容易漂移、延迟和成本随生成长度线性上升，而且模型可能“编”出一个看似合理却并不存在的标签。决策模型（Decision Model）正是针对这一痛点分化出的技术路线：输入内容，直接返回判别结果与概率，不生成长篇文本。

这类模型近期受到广泛关注，也带动了开源侧的系统性布局。某开源推理基础设施项目在其语义路由组件下推出并开源了多模态决策模型系列，参数规模覆盖 0.6B 至 27B，权重开放、支持本地部署，并可直接处理图片与视频输入。本文从技术定位、模型分层、评测维度与工程落地四个角度展开分析。

二、技术定位：决策模型与生成模型的边界

决策模型并不是“能力更弱的生成模型”，而是针对判别任务重新定义输出空间的一类模型。其典型任务包括：

• 分类（Classification）：将输入映射到预定义标签集合；
• 选择（Selection）：从候选集合中挑出最合适的一项，如工具选择、模型路由；
• 是非判断（Boolean Judgement）：输出通过/拒绝、合规/违规等二值结论；
• 评分（Scoring）：对预设选项打分并返回结构化判断及置信度。

与生成式调用相比，这类模型有三个工程上的关键差异：

1. 输出长度可控：返回值是标签、序号或分数，而非自由文本，便于下游程序直接消费；
2. 置信度可传递：返回概率使系统可以设置阈值，把低置信样本转交人工或升级到更大模型；
3. 微调目标不同：训练侧重判别准确性而非语言流畅度，小参数模型在特定判别任务上往往能逼近甚至超过更大的通用模型。

这也解释了为何该系列能把旗舰做到 27B 多模态、同时把轻量档位下探到 0.6B——判别任务的输出空间远小于生成任务，参数效率更高。

三、模型分层：一个覆盖边缘到旗舰的矩阵

该开源系列共包含六个档位，参数规模从 0.6B 覆盖到 27B，形成一条完整的选型曲线：

档位	规模定位	典型用途
旗舰档	27B，多模态	复杂视觉判断、多图/视频输入、高准确率场景
高性能档	9B 级	文本与视觉兼顾，性价比主力
均衡档	4B 级	单机部署、中等并发
轻量档	1B~2B 级	边缘侧、低延迟前置过滤
极小档	0.6B 级	端侧、嵌入式、海量请求初筛

其中旗舰模型基于 27B 级底座构建，支持多张图片与视频输入，其余档位基于不同参数规模的同族底座打造。这种“同族多尺寸”的设计对工程侧非常友好：同一套提示模板、同一套标签体系、同一套评测流程，可以在不同档位间平滑迁移，按业务量级逐级扩容或降级。

需要强调的是，开放权重与本地部署是这条路线相对云端 API 方案的核心差异。对于涉及敏感数据的分流、审核、风控场景，把判别模型部署在自有环境内，可以避免原始内容出网；同时本地推理在高并发下摊薄单位成本，也便于做确定性压测。

四、评测维度：文本榜、视觉榜与真实工具选择

单一榜单不足以说明判别模型的好坏。从公开信息看，评测至少应覆盖三个维度：

（1）文本决策能力。 在面向决策能力的公开榜单中，旗舰档文本决策指数为 64.7 分，公开集得分 65.5 分，位列文本榜首位；性能档与均衡档的成绩也处于同规模前列。这说明判别能力并非只靠堆参数，中等规模模型在结构化任务上同样具备竞争力。

（2）视觉决策能力。 旗舰档视觉得分为 71.6 分，同样排名第一；9B 级档位在视觉榜取得 66.9 分，在对应规模中表现突出。多模态判别与纯文本判别的差异在于，模型需要把图像/视频中的证据与标签体系对齐，例如“包装破损”这一标签需要模型从图片中定位到破损区域，而非仅凭文本描述推断。

（3）真实工具选择。 第三方开发者用 75 道工具选择题做了独立验证：给定用户意图，判断应调用哪一个工具接口。在本地机器测试中，9B 级与 4B 级档位答对 70 题，0.6B 级档位答对 68 题，差距远小于参数差距。这个结果很有参考价值——在候选集合有限、标签定义清晰的判别任务上，小模型的边际收益递减明显，盲目上大模型未必划算。

对企业的启示是：选型时应自建与业务标签体系一致的评测集，而不是只看通用榜单排名。通用榜单反映的是分布广度，业务评测集反映的是分布匹配度。

五、工程落地：从调用契约到路由架构

5.1 定义稳定的输出契约

决策模型的价值在于可被程序消费，因此第一步是把输出契约固定下来。建议约定统一的返回结构，包含标签、序号、置信度与可选的理由字段（理由应短，避免退化为生成任务）：

{
  "decision": "category_b",
  "confidence": 0.92,
  "scores": {"category_a": 0.05, "category_b": 0.92, "category_c": 0.03},
  "evidence": "附件中可见外包装凹陷"
}

下游系统依据 confidence 设置阈值：高于高阈值直接采纳，低于低阈值转人工，中间区间升级到更大档位模型复核。这种“小模型初筛 + 大模型复核”的两级结构，是控制成本与准确率的常见做法。

5.2 用决策模型构建模型路由

一个典型的组合用法是把决策模型本身作为路由层：前置的轻量档位判断请求类型（文本问答、图像理解、代码生成、工具调用），再把请求分发到对应的下游模型或服务。相比基于规则的路由，判别模型能处理表达多样、边界模糊的输入；相比用生成模型做路由，判别模型的延迟与成本低一个量级。

5.3 典型业务场景

• 客服分流：客户描述“收到的搅拌机破损，希望换货”，并附上收据图片与配送视频。决策模型需要同时完成意图分类（换货/退款/咨询）、证据核验（图片是否显示破损）、材料完整性判断（收据与视频是否齐全），输出结构化结论供工单系统直接流转。
• 内容审核：对文本、图片、视频做多标签判别，返回违规类别与置信度，低置信样本进入人工队列。
• 风险识别：对交易描述、账户行为摘要做异常判别，输出风险等级。
• 模型路由：按输入复杂度与模态选择下游推理资源，避免简单请求占用大模型算力。

5.4 部署与运维要点

• 批处理与并发：判别请求通常短小高频，应启用动态批处理提升吞吐；
• 量化与蒸馏：轻量档位可做量化以进一步降低显存占用，但需在自建评测集上验证准确率损失；
• 标签体系版本化：标签集合变更时必须重新评测，避免模型对新增标签的判别退化；
• 监控置信度分布：置信度整体下移往往意味着输入分布漂移，应触发告警并考虑增量微调。

六、选型建议与趋势判断

从这条开源路线的设计可以读出几个趋势：

第一，判别任务正在从“提示词工程”走向“专用模型”。当业务标签体系稳定、调用量大时，用一个几 B 参数的判别模型替代通用生成模型，在延迟、成本、输出稳定性上都有数量级收益。

第二，多模态判别成为刚需。审核、风控、客服场景的输入天然包含截图、照片、视频，仅支持文本的判别模型无法覆盖证据核验环节。

第三，开放权重降低了合规门槛。敏感数据不出域，是金融、医疗、政企场景落地的前置条件。

落地建议可以归纳为一条路径：先用业务数据构建 100~300 条带标签的评测集，横向测试从 0.6B 到 27B 的各档位，确定满足准确率下限的最小规模；再以该档位做前置判别、更大档位做复核，形成分级架构；最后把置信度阈值、标签版本、漂移监控纳入日常运维。决策模型不是“更便宜的生成模型”，而是一类需要独立评测、独立运维的基础设施组件——认清这一点，才能把它用对地方。