如何系统评估高性价比多模态智能体

近年来，通用模型的竞争重点正在发生变化。企业不再只追求模型能否解决极高难度的数学、科学或逻辑问题，而是越来越关注它能否稳定完成日常业务中的“操作型任务”：读取文档、理解截图、填写表单、整理数据、生成报告、操作桌面应用，以及跨多个系统执行重复流程。

因此，当市场上出现一类强调高速度、低成本、视觉理解和电脑操作能力的中档模型时，正确的评价方式不应是简单询问“它是否接近旗舰模型”，而应进一步追问：

1. 它在哪些任务上接近高端模型？
2. 这种接近能否转化为真实业务成功率？
3. 单次调用便宜，是否意味着完整任务也便宜？
4. 更快的输出速度，能否缩短端到端处理时间？
5. 在大规模自动化中，它的错误是否可检测、可恢复、可审计？

只有回答这些问题，才能判断一款模型究竟是参数和榜单上的升级，还是能够进入生产环境的效率工具。

一、先判断模型的真实定位

企业评估模型时，最容易犯的错误是采用单一排行榜思维，把所有模型都放在同一条能力轴上排序。实际上，不同模型可能面向完全不同的任务结构。

一类模型侧重复杂推理，适合算法分析、科研辅助、长链条决策和高难度问题求解；另一类模型则侧重视觉感知、指令执行和工具调用，目标是在较低成本下完成大量标准化任务。

后者的核心价值可以概括为：

以足够可靠的理解能力，驱动更快、更便宜的业务执行。

这里的“足够可靠”非常关键。办公自动化通常并不需要模型证明复杂定理，但要求它准确识别按钮、表格、状态提示和输入框，并按照约束完成操作。它可能不需要在抽象推理上达到最高水平，却必须具备稳定的“眼、脑、手”协同能力：

• “眼”是对截图、文档、图表和界面元素的识别；
• “脑”是对任务目标、业务规则和当前状态的理解；
• “手”是点击、输入、滚动、复制、上传和提交等操作；
• “反馈回路”则是执行后检查结果，并在异常时纠正动作。

因此，这类模型不宜仅用知识问答准确率评价，而应以完整任务的执行质量为核心。

二、视觉能力不能只看识别准确率

多模态模型进入业务系统后，视觉能力不只是“看懂图片”。它至少包括四个层次。

1. 基础感知

基础感知是识别文本、图标、表格、颜色、位置和页面结构。例如，模型需要判断某个输入框位于页面哪个区域，某个按钮当前是否可用，某条提示属于成功信息还是错误信息。

这类能力可以通过界面元素检测、文字识别准确率和区域定位偏差进行测试。但基础感知优秀，不等于能够完成真实任务。

2. 语义理解

模型需要理解界面元素的业务含义。例如，“保存草稿”和“正式提交”都可能位于页面底部，但二者带来的业务后果完全不同。模型不仅要看到按钮，还要理解操作目的、当前流程状态和潜在风险。

在测试中，应加入外观相似但业务意义不同的页面，避免模型依靠固定位置或视觉模板机械操作。

3. 跨页面状态追踪

真实办公流程很少在单个页面内结束。模型可能需要经历登录、查询、筛选、填写、确认和结果核验等多个步骤。在此过程中，它必须记住已完成的动作、当前任务目标和后续约束。

如果模型每进入一个新页面就丢失上下文，即使单步识别准确率较高，也无法承担长流程自动化。

4. 异常识别与恢复

生产环境中的页面不会始终保持理想状态。网络延迟、弹窗遮挡、字段校验失败、按钮位置变化和数据缺失都可能导致任务中断。

因此，视觉评估必须包含异常场景，例如：

• 页面加载不完整；
• 同一功能出现不同布局；
• 弹窗遮挡关键区域；
• 提交后出现业务校验错误；
• 操作成功但页面反馈不明显；
• 页面中存在相似按钮或误导性内容。

真正可用的模型，不仅能完成标准流程，还能识别“当前状态与预期不一致”，并采取刷新、回退、重新定位或请求人工接管等措施。

三、电脑操作能力应以任务闭环衡量

电脑操作模型经常在单步点击测试中表现良好，但企业更需要关注完整任务是否闭环。建议将任务拆分为“规划—执行—验证—恢复”四个阶段。

1. 规划能力

模型首先要把自然语言目标转换为可执行步骤。例如，“汇总本周异常订单并生成报告”并不是一个动作，而是一组包含查询、筛选、导出、统计、解释和归档的连续步骤。

规划质量可以从以下方面评估：

• 是否遗漏关键步骤；
• 是否满足前置条件；
• 是否识别高风险操作；
• 是否设置结果验证步骤；
• 是否能在信息不足时主动询问。

2. 执行能力

执行阶段关注动作是否正确，包括点击位置、文本输入、选项选择、文件处理和页面跳转。这里不应只记录操作是否发生，还要记录操作后状态是否符合预期。

例如，模型点击“提交”并不等于任务成功。只有当系统返回成功状态、生成业务编号，或者数据能够被重新查询到时，才可以认定任务完成。

3. 结果验证

自动化流程必须具备自检机制。模型在执行后应主动核对关键字段、数量、时间范围和输出文件，避免把“页面没有报错”误判为“业务结果正确”。

可以要求模型生成结构化验证结果：

任务状态：成功 / 失败 / 需要人工确认
关键结果：记录数量、输出位置、业务编号
验证方式：页面回查、数据比对、状态确认
异常信息：错误字段、失败步骤、重试次数

结构化输出有助于后续审计和监控，也能减少自然语言描述中的模糊性。

4. 失败恢复

模型应区分可重试错误和不可重试错误。网络超时、页面加载失败通常可以有限重试；权限不足、关键数据缺失或业务规则冲突则应停止执行并通知人工。

如果模型不具备错误分类能力，盲目重试可能导致重复提交、数据污染，甚至产生不可逆的业务后果。

四、速度评估要看端到端时延

模型输出速度常用单位时间生成的文本量表示，但对于电脑操作智能体，这个指标并不足够。

一次完整任务的总时延可以表示为：

总时延 =
模型思考时间
+ 视觉输入处理时间
+ 动作执行时间
+ 页面响应时间
+ 结果验证时间
+ 失败重试时间

模型即使生成文本很快，如果需要大量无效推理、频繁截图或重复操作，端到端速度仍可能很慢。反过来，一个输出速度中等但规划准确、动作简洁的模型，可能更快完成完整任务。

因此，企业应重点记录以下指标：

• 首次有效动作等待时间；
• 平均每一步决策时间；
• 单任务平均操作步数；
• 完整任务耗时的中位数；
• 长尾任务耗时；
• 因错误导致的额外重试时间；
• 单位时间内成功完成的任务数量。

其中，长尾时延尤其值得关注。批量任务中，少量异常任务可能占用大量资源，拖慢整个队列。仅查看平均值容易掩盖这一问题，建议同时统计中位数和较高分位的耗时。

五、不能把令牌单价等同于任务成本

输入和输出单价降低，对批量应用具有直接吸引力，但模型调用费用只是总成本的一部分。

单任务综合成本可以近似表示为：

单任务成本 =
输入成本
+ 输出成本
+ 图片与文档处理成本
+ 工具执行成本
+ 失败重试成本
+ 人工复核成本
+ 基础设施与日志成本

其中，人工复核成本往往容易被忽略。如果一个低价模型需要人工检查大部分输出，它的真实成本可能高于价格更高但稳定性更好的模型。

企业应重点计算“每个成功任务的成本”，而不是“每次调用的成本”：

每成功任务成本 =
某批次总成本 ÷ 成功且通过验收的任务数

假设模型调用费用较低，但任务首次成功率不足，需要多次重试，那么实际成本会迅速上升。相反，如果模型能够以较少步骤稳定完成任务，即使单次调用价格略高，也可能获得更低的综合成本。

还应区分三种成本口径：

1. 直接推理成本：模型输入、输出和多模态处理费用；
2. 运行成本：任务调度、存储、日志、监控和执行环境费用；
3. 风险成本：错误操作、人工补救、业务中断和合规处置成本。

只有把三者纳入计算，才能得到可信的投入产出结论。

六、幻觉评估必须贴近操作风险

在普通问答中，幻觉可能表现为事实错误；在电脑操作任务中，幻觉可能直接转化为错误动作。例如，模型可能声称已经上传文件，实际上并未完成；也可能在没有看到成功提示的情况下，错误判断任务已经结束。

因此，操作型幻觉至少包括以下几类：

状态幻觉

模型错误描述当前页面状态，例如声称某个按钮存在、某项设置已开启，或者某条记录已成功提交。

结果幻觉

模型宣称任务完成，却没有提供可验证的结果。此类问题必须通过页面回查、业务编号、文件校验或数据比对来发现。

参数幻觉

模型擅自补全缺失的日期、金额、收件人或其他关键参数。对于高风险字段，系统应禁止模型自行猜测。

权限幻觉

模型认为自己具备某项权限，并持续尝试执行实际无权完成的操作，造成重复失败或流程卡死。

降低幻觉不能只依靠提示语，而应采用系统性措施：

• 要求关键结论附带界面证据或结构化状态；
• 对重要字段进行规则校验；
• 对删除、付款、发布和权限修改等操作设置人工确认；
• 将任务结果与业务系统数据进行二次核对；
• 为连续失败和异常动作设置熔断条件；
• 保留输入、截图、动作和结果日志。

七、推理预算应按任务风险动态分配

许多模型允许通过不同的推理预算，在速度、成本和质量之间进行权衡。企业不应对所有任务固定使用最高预算，也不应为了节约费用始终使用最低预算。

更合理的方法是根据任务难度和风险动态分层。

低预算场景

适用于字段抽取、格式转换、简单分类、固定模板填写等标准化程度较高的任务。此类任务可以通过规则快速校验，错误后果也相对可控。

中等预算场景

适用于多页面操作、跨文档汇总、带有少量条件判断的办公流程。这通常是性价比较高的默认档位，但仍需要结合业务样本验证。

高预算场景

适用于长流程规划、复杂异常处理、多约束决策和高风险任务。即便如此，高预算也不意味着可以取消人工审批。

系统可以设计一个简单的任务路由逻辑：

如果任务涉及不可逆操作：
    启用较高推理预算
    强制人工确认
否则如果任务步骤较多或输入信息不完整：
    启用中等推理预算
    执行结果复核
否则：
    启用较低推理预算
    使用规则自动验收

这种分层策略比“一律使用最强配置”更符合生产环境的成本控制要求。

八、建立贴近业务的评测集

公开评测可以用于理解模型的大致能力，但不能替代企业内部评估。公开数据往往难以覆盖实际系统的页面结构、权限规则、异常类型和业务约束。

构建内部评测集时，建议至少包含四类样本：

1. 标准样本：流程正常、信息完整，用于衡量基础成功率；
2. 边界样本：字段为空、数据量极大、日期跨周期等；
3. 异常样本：网络失败、页面变化、权限不足、文件损坏等；
4. 对抗样本：页面文本包含误导性指令，验证模型是否会偏离原任务。

评测指标也不能只有最终成功率，还应包括：

• 首次成功率；
• 重试后成功率；
• 平均操作步数；
• 无效动作比例；
• 错误恢复率；
• 人工接管率；
• 高风险误操作率；
• 单成功任务成本；
• 端到端耗时；
• 结果可审计性。

对于不同任务，应设置不同权重。内容整理类任务可以更关注吞吐量和成本；财务、权限、发布类任务则应把风险控制放在首位。

九、生产落地需要完整的安全边界

模型能够操作电脑，并不意味着应当获得不受限制的操作权限。生产系统需要采用最小权限原则，让智能体只能访问完成任务所必需的数据和功能。

建议从以下方面建立安全边界：

权限隔离

为自动化任务配置独立身份和受限权限，避免直接复用个人高权限账号。不同业务流程应使用不同权限范围，减少横向影响。

环境隔离

涉及外部文件、未知网页或不可信内容时，应在隔离环境中执行。即便模型受到误导，也应限制其读取敏感信息或执行高风险操作的能力。

操作白名单

明确允许执行的动作和页面范围。对删除、覆盖、对外发送、资金操作和权限变更等高风险动作，设置额外审批。

全链路审计

记录任务输入、模型决策、关键截图、执行动作、系统响应和最终结果。日志应能够回答“谁在什么时间，以什么目标，对什么对象执行了什么操作”。

人工接管

当模型置信度不足、连续重试失败或触发风险规则时，应及时移交人工，而不是继续自主探索。人工接管不是模型能力不足的象征，而是可靠自动化系统的重要组成部分。

十、最终应如何判断是否值得采用

一款强调低成本、高速度、视觉理解和电脑操作的模型，最适合承担规则相对清晰、任务量较大、可通过结果校验的执行型工作，例如文档整理、表格录入、信息核验、流程巡检和报告生成。

它是否值得采用，不取决于是否在所有能力上超过高端模型，而取决于以下条件是否同时成立：

• 核心业务任务的成功率达到要求；
• 完成任务所需步骤足够少；
• 端到端速度能够提升整体吞吐量；
• 每个成功任务的综合成本更低；
• 错误能够被检测、阻断和恢复；
• 高风险操作具有明确的人机协同边界；
• 全部执行过程可以追踪和审计。

从企业视角看，中档多模态模型的价值不在于“用更便宜的价格获得所有旗舰能力”，而在于针对高频操作型任务提供更合理的性能、速度和成本组合。

因此，评价这类模型时，最重要的不是问“它有多聪明”，而是问“它能否在受控条件下，以可预测的成本，持续完成可验收的工作”。当模型能够稳定地理解界面、执行动作、验证结果并处理异常时，它才真正具备进入大规模办公自动化场景的条件。