从屏幕理解到电脑操作：智能体工程化实践

过去，大模型的主要交互方式是输入文本、生成文本。如今，技术演进的重点正在转向更复杂的“环境交互”：模型不仅要理解用户说了什么，还要看懂屏幕上的按钮、表格、菜单和提示信息，进而完成点击、输入、拖拽、上传文件等操作。

这种能力常被称为电脑操作智能体。它的价值并不只是让模型“会点鼠标”，而是让人工智能能够接入大量没有标准接口、缺少开发文档，甚至已经运行多年的业务系统。

但需要明确的是，电脑操作能力提升，并不意味着通用人工智能已经被严格证明。要判断一个系统是否真正接近通用智能，不能只看某个模型发布时的宣传，也不能只依赖少数基准测试，而应从任务覆盖范围、成功率、稳定性、安全性、泛化能力和长期自主执行能力等多个维度综合分析。

一、为什么屏幕可能成为最通用的交互层

企业信息系统通常存在两类接入方式。

第一类是结构化接口。系统通过标准接口接收参数并返回结果，这种方式效率高、确定性强，也便于进行权限控制和错误处理。

第二类是图形界面。用户通过页面、窗口、表单和按钮完成工作。很多历史系统只提供图形界面，或者虽然存在接口，但接口并未对外开放，缺少维护文档，接入成本很高。

从智能体视角看，图形界面具有一个明显优势：只要人能够通过屏幕操作，智能体理论上就可以尝试理解并执行相同流程。于是，界面在一定程度上成为一种通用交互协议。

典型应用包括：

1. 在内部管理系统中录入订单和报销信息；
2. 从多个页面收集数据并生成汇总结果；
3. 在客服工作台中查询记录、填写处理意见；
4. 操作没有标准接口的桌面软件；
5. 根据业务规则完成重复性的后台配置；
6. 在多个系统之间搬运经过校验的数据。

不过，“能看见界面”和“能稳定完成任务”之间仍有很长距离。界面可能动态变化，按钮可能被弹窗遮挡，网络延迟会导致页面未加载完成，同名控件也可能对应完全不同的业务含义。因此，真正可用的电脑操作智能体必须形成完整的感知、规划、执行和验证闭环。

二、电脑操作智能体的核心技术架构

一个相对完整的系统通常可以划分为六层。

1. 环境感知层

感知层负责读取当前屏幕状态，并将像素信息转换为模型可以理解的结构。

它通常需要识别：

• 页面中的文字及其位置；
• 按钮、输入框、复选框和下拉菜单；
• 表格、列表、导航栏和弹窗；
• 当前焦点、滚动位置与窗口层级；
• 加载状态、错误提示和成功提示；
• 控件是否可见、可点击或已被禁用。

仅靠光学字符识别并不足以完成这些工作。例如，“提交”可能出现在按钮上，也可能只是操作说明中的普通文本。系统还需要结合视觉布局、控件形态和上下文，判断某段文字是否对应可操作元素。

比较稳妥的做法，是将屏幕转换为结构化观察结果：

Observation {
    screen_id: 当前屏幕标识
    elements: [
        {
            role: "button",
            text: "提交",
            region: [x1, y1, x2, y2],
            clickable: true,
            confidence: 0.96
        }
    ]
    alerts: []
    loading: false
}

这里的置信度不应直接等同于操作可靠性。一个控件即使识别准确，也可能因为权限不足、页面状态错误或业务条件未满足而无法执行。

2. 任务理解层

用户给出的往往不是精确指令，而是目标描述，例如：

“把今天审核通过的申请整理成表格，并录入归档系统。”

这句话隐含了多个需要澄清的问题：

• “今天”按照哪个时区计算？
• “审核通过”以哪个字段为准？
• 数据来源是当前页面还是多个系统？
• 如果记录重复，应该覆盖、跳过还是报错？
• 归档成功的判断条件是什么？
• 涉及敏感字段时是否允许自动处理？

因此，任务理解层要把自然语言目标转换为可验证的约束集合，而不是直接生成一串点击动作。

Goal {
    source_scope: "当日记录"
    filter_rule: "状态等于审核通过"
    output_format: "结构化表格"
    destination: "归档系统"
    duplicate_policy: "发现重复时暂停确认"
    success_condition: "每条记录均返回归档编号"
}

目标定义越明确，后续规划越稳定。对于条件不完整的任务，系统应主动询问，而不是自行猜测。

3. 任务规划层

规划层负责将复杂目标拆分成若干可执行步骤。例如：

1. 打开数据查询页面；
2. 设置日期范围；
3. 选择目标状态；
4. 发起查询；
5. 分页读取记录；
6. 校验必填字段；
7. 打开归档页面；
8. 逐条填写并提交；
9. 保存归档编号；
10. 汇总成功项与失败项。

规划不能只是一次性生成。真实环境中的状态经常与预期不同，因此更合理的模式是滚动规划：每执行一步，就重新观察环境，再决定下一步动作。

这种机制可以降低“第一步出错、后续全部偏离”的风险。

4. 动作执行层

常见动作包括：

• 单击与双击；
• 文本输入；
• 按键组合；
• 滚动页面；
• 选择列表项；
• 上传或下载文件；
• 窗口切换；
• 等待页面状态变化。

执行层必须对动作进行参数校验。例如，点击坐标是否位于可见区域，输入内容是否包含禁止字段，目标控件是否与规划中描述一致。

不建议让模型直接输出未经约束的底层操作。更安全的方法是定义有限动作集合：

Action =
    Click(element_id)
    | Type(element_id, value)
    | Select(element_id, option)
    | Scroll(direction, distance)
    | Wait(condition, timeout)
    | AskUser(question)
    | Stop(reason)

有限动作集合便于权限控制、日志记录和自动回放，也能减少模型生成不可执行指令的概率。

5. 结果验证层

动作已执行，不代表任务已完成。每一步都应有对应的验证条件。

例如，点击“保存”后，系统不能仅凭按钮被点击就判定成功，而应检查：

• 页面是否出现成功提示；
• 数据状态是否发生预期变化；
• 是否生成业务编号；
• 是否出现错误弹窗；
• 页面是否仍处于加载状态；
• 保存后的字段值是否与输入一致。

结果验证可以采用“双通道”策略：一方面读取界面反馈，另一方面在具备条件时通过结构化数据或后台查询进行交叉确认。

6. 记忆与审计层

长任务需要记录执行进度，否则在中断后只能从头开始。

建议至少保存以下信息：

• 用户原始目标；
• 任务拆解结果；
• 每一步执行前后的屏幕摘要；
• 动作参数；
• 操作时间；
• 验证结果；
• 重试次数；
• 人工确认记录；
• 最终成功项和失败项。

审计记录不仅用于故障排查，也是权限治理和责任界定的重要依据。涉及财务、合同、人员信息等高风险业务时，完整审计应当成为强制要求。

三、智能体执行闭环的示意代码

下面的伪代码展示了一个基本执行循环：

function run_agent(goal, policy):
    state = initialize(goal)
    history = []
    while not state.finished:
        observation = observe_screen()
        if detect_sensitive_data(observation, policy):
            return pause_for_human("发现敏感数据")
        plan = make_next_plan(
            goal = goal,
            observation = observation,
            history = history
        )
        action = choose_action(plan, policy)
        if not validate_action(action, observation, policy):
            return pause_for_human("动作未通过安全校验")
        result = execute(action)
        verification = verify(result, observe_screen())
        history.append({
            "observation": observation,
            "action": action,
            "verification": verification
        })
        if verification.success:
            state = update_progress(state, verification)
        else:
            state.retry_count += 1
            if state.retry_count > policy.max_retry:
                return pause_for_human("连续失败，转人工处理")
            recover(state, verification)
    return build_report(history)

这段逻辑体现了三个重要原则。

第一，观察和执行必须交替进行。系统不能假设界面一直保持不变。

第二，动作需要经过策略校验。即使模型认为某项操作合理，也必须满足预先配置的权限规则。

第三，失败后不能无限重试。重复点击提交按钮可能造成重复订单、重复付款或重复发送，因此系统必须具备幂等判断和人工接管机制。

四、评估电脑操作能力不能只看成功率

公开演示常使用任务完成率来衡量智能体能力，但单一指标很容易掩盖问题。

1. 任务完成率

最基本的计算方式是：

任务完成率 = 成功完成的任务数 / 总任务数

然而，任务难度差异可能很大。点击一个固定按钮与跨多个系统完成数据核对，不能被视为同等级任务。因此，测试集应覆盖简单、中等和复杂场景，并分别报告结果。

2. 平均操作步数

如果人工完成任务需要十步，而智能体用了五十步，即使最终成功，也可能意味着规划能力较弱，成本和风险都更高。

可以使用步骤膨胀率：

步骤膨胀率 = 智能体实际步骤数 / 参考步骤数

数值越接近一，通常说明路径越简洁。但在高风险场景中，必要的校验步骤不能被视为冗余。

3. 平均任务耗时

耗时应拆分为模型推理时间、页面等待时间、动作执行时间和异常恢复时间。只统计总耗时，很难定位性能瓶颈。

对于实时客服等场景，响应延迟可能比最终成功率更敏感；而对夜间批处理任务，稳定性通常比速度更重要。

4. 错误恢复能力

真实系统中不可避免会出现弹窗、超时、页面刷新和控件位移。评测应主动注入异常，例如：

• 页面加载变慢；
• 按钮位置发生变化；
• 出现临时确认框；
• 目标数据缺失；
• 用户权限不足；
• 操作过程中会话过期。

真正可靠的智能体不仅要在理想环境中完成任务，还要能识别异常、回退到安全状态，并说明失败原因。

5. 安全违规率

系统是否尝试访问越权页面、泄露敏感数据或执行未经确认的高风险操作，必须单独统计。

在企业场景中，一个“成功但越权”的任务不能算成功。安全约束应当作为硬指标，而不是附加项。

五、为什么高跑分不等于进入通用智能时代

电脑操作能力确实扩大了模型的应用边界，但仍不能单凭这一点判断通用智能已经到来。

首先，基准测试通常是有限任务集合，而真实世界任务分布持续变化。模型在已知界面上表现良好，不代表面对陌生业务流程仍能稳定泛化。

其次，长程任务会累积误差。单步操作准确率即使很高，经过几十步后，整体成功率仍可能显著下降。假设每一步独立成功率为 (p)，连续执行 (n) 步的理论成功概率约为：

整体成功概率 = p^n

现实中各步骤并非完全独立，但这个关系足以说明长链路执行的困难。

再次，业务正确性往往无法只从屏幕判断。某个表单提交成功，不代表输入数据符合业务制度，也不代表该操作应该由当前用户发起。模型需要理解组织规则、权限边界和责任约束。

最后，通用智能还涉及知识迁移、持续学习、因果推理、自我纠错和跨领域适应等能力。电脑操作只是其中一个重要组成部分，而不是充分条件。

因此，更准确的判断是：人工智能正在从内容生成系统演变为可调用工具、操作环境并完成任务的智能执行系统。这个变化非常重要，但仍应以可验证的工程指标，而不是口号来评估。

六、企业落地时必须解决的安全问题

1. 最小权限原则

智能体只能获得完成任务所需的最低权限。查询数据与修改数据应使用不同授权，高风险操作应单独审批。

不应让智能体长期持有管理员权限，也不应把用户密码直接写入任务提示。身份凭证应由受控的凭证管理机制提供，并设置有效期。

2. 高风险动作确认

以下动作通常需要人工确认：

• 付款、退款和转账；
• 删除数据；
• 修改权限；
• 批量发送外部消息；
• 提交合同或法律文件；
• 导出大规模敏感数据；
• 执行不可逆配置变更。

确认界面需要展示具体对象、影响范围和操作理由，而不是只弹出一句“是否继续”。

3. 防止提示注入

电脑操作智能体可能在网页或文档中看到恶意指令，例如诱导其忽略原任务、上传本地文件或泄露信息。

系统必须区分“用户指令”和“环境内容”。屏幕上的文字默认只能被视为待处理数据，不能自动升级为高优先级命令。任何涉及权限扩大、数据外发或目标变更的内容，都应触发策略检查。

4. 数据脱敏与隔离

屏幕截图可能包含姓名、联系方式、财务信息和访问凭证。系统应在存储日志前进行脱敏，并根据业务等级设置保存期限。

开发、测试和生产环境也应隔离，避免使用真实敏感数据验证智能体能力。

5. 可中止与可回滚

用户必须能够随时暂停任务。对于可以回滚的操作，系统应保留修改前状态；对于不可回滚的操作，则必须在执行前进行更严格的确认。

七、从试点到规模化部署的建议路径

企业不宜一开始就追求完全自主执行。更稳妥的落地方式可以分为四个阶段。

第一阶段是辅助模式。智能体只负责读取界面、提取信息和生成操作建议，由人工实际执行。

第二阶段是半自动模式。智能体执行低风险步骤，在提交、删除、付款等关键节点暂停等待确认。

第三阶段是受控自动化。针对流程稳定、规则清晰、风险较低的任务开放自动执行，并设置任务数量、时间段和数据范围限制。

第四阶段才是规模化自治。此时需要具备完善的权限体系、监控告警、异常接管、审计追踪和质量评估机制。

试点任务最好具备以下特征：

• 操作频率高；
• 流程相对固定；
• 输入输出容易验证；
• 错误影响可控；
• 人工操作成本较高；
• 有明确的异常处理规则。

不适合优先自动化的任务，则包括规则模糊、责任重大、错误不可逆或需要复杂人际判断的流程。

八、未来的关键突破方向

电脑操作智能体要真正成为稳定的生产力工具，还需要在多个方面持续提升。

其一是更强的视觉定位能力。系统要能适应分辨率变化、主题变化、页面重排和动态控件。

其二是更可靠的长程规划。智能体需要管理数十甚至数百个步骤，并在中断后准确恢复。

其三是更低的推理成本。持续截图、理解页面和生成动作会消耗大量计算资源，工程上需要采用局部更新、状态缓存和分层模型等方式减少重复计算。

其四是标准化评测。评测不仅要覆盖理想流程，还要包含异常注入、安全攻击、权限限制和界面变化。

其五是人与智能体的协同机制。优秀系统不应一味追求“完全无人”，而应知道何时自主执行、何时请求确认、何时把任务交还给专业人员。

结语

从文本问答到屏幕理解，再到真实电脑操作，人工智能的角色正在发生变化：它不再只是提供答案，而是开始参与业务流程并承担执行任务。

但执行能力越强，错误造成的影响也越大。企业评估这类技术时，不能只关注演示效果和单项跑分，还要同时考察任务成功率、操作效率、异常恢复、安全违规率、权限治理和审计能力。

真正成熟的电脑操作智能体，应当做到看得懂、想得清、点得准、验得出、停得住，也能够在不确定时主动求助。只有当这些条件同时满足，智能体才可能从实验性的自动点击工具，成长为可控、可信并可规模化部署的企业级执行系统。