Computer Use 为什么必须在隔离环境中运行？

它能看屏幕、操作键鼠，误操作可能删除/发送/改配置；隔离环境限制影响范围和权限。

哪些动作应该强制人工审批？

发送消息/邮件、删除、支付/转账、权限变更、执行命令等不可逆或高风险动作。

屏幕上的内容为什么不能完全信任？

屏幕可能显示网页/邮件等外部内容，可能包含提示注入；应按不可信数据处理并校验动作目标。

系统学习 AI 学习路径：从 GPU 运行时到推理、微调与 RAG 评估

computer-use

Computer Use：让模型看屏幕并操作鼠标键盘，必须在沙箱和审批下运行

补充说明

Computer Use 让视觉语言模型截屏理解界面，再输出点击、输入、滚动、快捷键等动作，由执行器操作真实桌面/浏览器。它适合没有 API 的遗留系统、跨应用流程和 GUI 测试，但非常脆弱：分辨率、窗口位置、加载延迟、弹窗和主题变化都会影响识别。

安全边界比能力更重要。Computer Use 能看到屏幕上的所有内容（包括密码、聊天、邮件），也能执行不可逆操作（删除、转账、发信）。必须在隔离 VM/容器中运行，限制网络和文件访问，高危动作人工审批，并记录完整操作日志。

常用示例

最小安全架构：
1. 隔离环境：专用 VM/容器，独立账号，最小文件权限
2. 屏幕隔离：只暴露任务需要的窗口，隐藏通知/密码管理器
3. 动作限制：点击/输入白名单，禁止 shell、文件管理器、设置
4. 网络限制：只允许目标系统域名，禁止访问内网管理面
5. 人工审批：发送、删除、支付、权限变更前暂停
6. 审计：截图、动作、时间、操作者、结果全记录

# 动作循环（伪代码）
for step in range(max_steps):
    screenshot = capture_screen()
    action = model.predict(screenshot, task, history)
    if action.type in HIGH_RISK:
        if not request_approval(action):
            break
    execute(action)          # 点击/输入/滚动/快捷键
    history.append((action, capture_screen()))
    if task_done(screenshot):
        break

适用判断：
- 有稳定 API → 优先 API，不要用屏幕操作
- GUI 流程固定、可回滚 → 可试点
- 涉及资金/权限/隐私 → 必须人工审批或不做
- 需要高吞吐 → Computer Use 延迟高，通常不适合

易错点与排错

在真实桌面直接跑：模型可能误点删除/发送/设置；必须用隔离环境。
屏幕暴露敏感信息：通知、密码管理器、其他窗口会被截屏；限制可见窗口和账号。
没有动作审批：高危操作不可逆；按动作分级，发送/删除/支付必须人工确认。
依赖固定坐标：窗口大小/分辨率变化就失效；用可访问性树/控件定位，或固定环境。
忽略加载延迟：页面未加载完就点击，导致误操作；加重试、等待和状态校验。
提示注入：屏幕上的网页/邮件可能藏指令；把屏幕内容当不可信数据，动作前校验目标。
没有审计：出问题无法还原；记录截图、动作、时间和结果。
网络无限制：Agent 可能访问内网管理面或外泄数据；限制出站域名和权限。

参考链接

读完自测

合上页面，先回答，再展开对照。

Computer Use 为什么必须在隔离环境中运行？
哪些动作应该强制人工审批？
屏幕上的内容为什么不能完全信任？

答案

它能看屏幕、操作键鼠，误操作可能删除/发送/改配置；隔离环境限制影响范围和权限。
发送消息/邮件、删除、支付/转账、权限变更、执行命令等不可逆或高风险动作。
屏幕可能显示网页/邮件等外部内容，可能包含提示注入；应按不可信数据处理并校验动作目标。