多模态智能体降本实践：从模型选型到流程落地

一、从“更聪明”转向“更能完成任务”

新一代大模型的竞争重点，正在从单纯提升问答质量，转向提升真实业务流程中的完成率。对于企业用户而言，模型能否写出一段漂亮的文字并不是唯一标准，更重要的是它能否理解截图、表格、票据和技术文档，并按照业务规则完成后续操作。

例如，在电商运营中，智能体不仅要识别商品图片和参数，还要根据规则补齐标题、规格、库存和描述；在财务场景中，它需要读取发票或报销单，提取金额、日期、税率和主体信息，再将结果写入业务系统；在设计和视频审核中，它需要理解画面内容，定位不符合规范的素材，并输出可复核的审核结论。

这类任务的共同特点是：重复频率高、流程相对固定、人工操作成本高，但又不能完全依赖简单的规则脚本。多模态模型与流程自动化结合后，能够承担“识别—判断—执行—反馈”的完整链路。

二、多模态能力的核心价值：看懂之后还要做完

传统文本模型主要处理文字输入和文字输出，而多模态智能体需要同时理解文本、图片、表格、页面结构以及操作反馈。真正有价值的能力，不是“看过一张图”，而是能够基于视觉信息采取下一步动作。

一个完整的任务通常可以拆分为四个阶段：

1. 信息理解

模型首先要识别截图中的字段、按钮、提示信息、表格结构和异常状态。对于扫描文档，还需要处理倾斜、模糊、印章遮挡和复杂版式等问题。

1. 任务规划

模型根据目标和业务约束制定步骤。例如，录入票据时不能只提取金额，还要判断发票类型、费用归属、是否重复报销，以及缺失信息是否需要人工补充。

1. 工具执行

智能体可以调用浏览器操作、桌面操作、文件处理、数据库查询或内部业务接口。执行时应遵循最小权限原则，避免模型直接获得不必要的写入权限。

1. 结果校验

所有涉及金额、合同、库存、权限和对外发布的动作，都应设置二次校验。模型输出可以作为建议或草稿，但关键动作最好由规则引擎、审批节点或人工确认最终决定。

因此，衡量多模态智能体不能只看回答是否流畅，还要看任务是否真正闭环，包括操作成功率、异常恢复能力、结果一致性和人工接管比例。

三、速度提升并不等于整体效率提升

公开材料中常见“速度提升数倍”的表述，但企业落地时需要区分模型响应速度与业务流程总耗时。

模型生成更快，通常只意味着推理阶段耗时下降。实际流程还包括文件上传、页面加载、权限校验、外部接口响应、人工确认和失败重试。如果一个任务需要频繁调用多个系统，即使模型本身响应很快，整体耗时也可能受到外围环节限制。

建议将总耗时拆成以下部分：

• 输入准备时间：文件读取、图片压缩、文档解析；
• 模型推理时间：理解任务、生成计划和输出结果；
• 工具执行时间：页面操作、接口调用、数据写入；
• 校验等待时间：规则检查、人工审批和系统回调；
• 异常恢复时间：重试、补充信息和人工接管。

在实际评测中，应记录端到端完成时间，而不是只记录首字节响应时间。对于批量任务，还应关注单位时间的有效完成量，以及并发增加后准确率是否下降。

四、成本降低后，哪些场景开始具备经济性

多模态模型的成本主要由输入内容、输出内容、上下文长度、缓存命中率和调用次数共同决定。文本、图片和扫描文档都可能占用输入资源，复杂任务还会因为多轮工具调用产生额外消耗。

如果某类模型的参考价格达到“每百万输入单位约一美元、每百万输出单位约五美元”，缓存输入成本进一步下降到更低水平，那么大量高频任务的自动化门槛会明显降低。但企业不能只按照单次调用价格判断是否划算，还需要计算完整任务成本：

任务成本 = 模型调用成本 + 工具执行成本 + 存储与网络成本 + 失败重试成本 + 人工复核成本

以下场景通常更适合优先试点：

• 票据、合同、表单等半结构化文档录入；
• 商品信息整理、分类、上架草稿生成；
• 设计稿、宣传素材和视频片段的合规预审；
• 客服工单分类、摘要和标准流程分派；
• 内部知识库检索、报告整理和会议纪要生成；
• 需要跨多个页面执行，但规则相对明确的办公流程。

相反，开放式深度研究、复杂软件开发、长期规划和高风险决策，通常需要更强的推理能力、更严格的事实验证，不能仅因为价格较低就直接切换到轻量模型。

五、超长上下文的价值与使用边界

长上下文窗口可以一次处理大量文本、图片和历史记录，适合长合同、技术手册、项目资料和多轮业务流程。相关参考规格中，输入上下文可达到百万级单位，输出上限达到十万级单位，这使得“分段上传、反复摘要、人工拼接”的流程有机会被简化。

但上下文越长，并不代表模型一定能准确使用所有信息。实际应用仍需解决三个问题：

第一，信息检索效率。文档过长时，模型可能无法稳定关注真正关键的条款，应结合分层摘要、关键词检索和结构化索引。

第二，内容冲突。不同版本的制度、合同或配置文件可能出现矛盾，系统需要保留来源、时间和优先级信息。

第三，成本控制。把所有历史资料一次性放入请求，虽然开发简单，但会造成资源浪费。更合理的方式是先检索相关片段，再将必要上下文发送给模型。

因此，长上下文适合承载复杂任务，但不应替代知识库治理、文档版本管理和检索策略设计。

六、幻觉率下降后，仍然需要工程化校验

公开测试中，某些新模型在低推理强度下的事实错误率可从约五成下降至约两成，在更高推理强度下进一步下降到个位数水平。这说明模型可靠性有所改善，但“错误率降低”并不等于“可以无监督使用”。

企业系统应把模型输出分为三类：

• 低风险输出：摘要、分类、草稿、标签，可直接进入后续流程；
• 中风险输出：商品信息、工单分派、内部分析，需要抽样检查；
• 高风险输出：财务金额、合同结论、权限变更、对外发布，必须经过规则校验或人工确认。

常见的校验方式包括：

1. 结构化输出。要求模型按照固定字段返回，减少自由文本解析的不确定性。
2. 来源引用。每个结论都保留对应文档片段，方便追溯。
3. 规则复核。金额、日期、编号、税率等字段通过程序再次验证。
4. 多次交叉判断。对高价值任务进行多轮生成或独立校验。
5. 人工接管。遇到低置信度、信息缺失或规则冲突时，自动转交人工。

七、推荐的落地架构

一个可维护的智能体系统，通常由以下模块组成：

• 输入层：接收文本、图片、文档、页面状态和用户指令；
• 预处理层：完成格式转换、内容清洗、敏感信息识别；
• 模型层：负责理解、规划、分类、生成和视觉分析；
• 工具层：提供查询、写入、浏览器操作、文件处理等能力；
• 策略层：控制权限、预算、调用次数和可执行动作；
• 校验层：执行格式检查、业务规则和风险评估；
• 观测层：记录提示词版本、输入摘要、输出结果、耗时和失败原因。

一个简化的任务控制逻辑可以表示为：

接收任务
  ↓
识别任务类型与风险等级
  ↓
检索必要资料并压缩上下文
  ↓
生成执行计划
  ↓
调用受限工具完成操作
  ↓
校验结果与记录证据
  ↓
成功则提交，异常则重试或人工接管

这里最关键的不是模型本身，而是工具权限和流程边界。模型不应拥有无限制的数据库写入权限，也不应在没有确认的情况下执行不可逆操作。

八、如何设计试点与评测

建议企业先选择一个流程清晰、数据量稳定、人工成本可量化的场景，进行两到四周的小范围试点。评测指标至少包括：

• 任务成功率；
• 首次完成率；
• 平均处理时长；
• 单任务模型成本；
• 人工复核时长；
• 异常率和重试次数；
• 敏感信息误处理次数；
• 用户满意度与业务收益。

试点不应只拿最理想的数据测试，而要覆盖模糊图片、字段缺失、页面变化、重复提交、网络波动和权限不足等真实异常。

九、模型选型的基本原则

轻量、低成本、响应快的模型，更适合高频、标准化和可校验的工作；高能力模型，则适合复杂编程、深度研究、多步骤规划和高难度问题分析。企业不必追求所有任务使用同一个模型，而应建立分层路由策略：

• 简单分类和抽取，优先使用低成本模型；
• 需要视觉理解和页面操作时，选择具备多模态能力的模型；
• 遇到复杂推理或连续失败时，自动升级到更强模型；
• 对稳定重复任务，使用缓存、模板和批处理降低成本。

最终目标不是追求某个模型的参数或宣传指标，而是用合适的能力完成合适的任务，并在准确率、速度、成本和风险之间取得平衡。对于企业而言，真正值得关注的不是“模型看起来有多强”，而是它能否稳定地把一项高频工作做完、做对，并且在出错时能够被及时发现和纠正。