browser-agent

浏览器 Agent：用 DOM/可访问性树和 Playwright 驱动网页任务，控制选择器与网络边界

补充说明

浏览器 Agent 让模型在网页上导航、填表、点击和提取信息。常见实现用 Playwright/CDP 控制浏览器，把 DOM/可访问性树或截图给模型，模型输出动作。它比纯 HTTP 抓取能处理登录、JavaScript 渲染和多步流程，但更慢、更脆弱，也更容易被反爬和页面变化影响。

优先用稳定接口：有官方 API 就用 API，有导出/下载就用文件，不要用浏览器点。必须用浏览器时，固定浏览器版本、视口、语言和时区，限制可访问域名，隔离登录态，并记录每步动作和截图。

常用示例

# Playwright：稳定的等待和定位
from playwright.sync_api import sync_playwright

with sync_playwright() as p:
    browser = p.chromium.launch(headless=True)
    page = browser.new_page(viewport={"width": 1280, "height": 800})
    page.goto("https://example.com/login", wait_until="networkidle")
    page.get_by_label("用户名").fill("user")
    page.get_by_label("密码").fill("pass")
    page.get_by_role("button", name="登录").click()
    page.wait_for_url("**/dashboard")
    print(page.title())

# Agent 循环：DOM 摘要 + 动作
for step in range(max_steps):
    dom = page.accessibility.snapshot()      # 或精简 DOM
    action = model.predict(dom, task, history)
    if action.type == "click":
        page.get_by_role(action.role, name=action.name).click()
    elif action.type == "type":
        page.get_by_label(action.label).fill(action.text)
    elif action.type == "goto":
        if not allowed_domain(action.url):
            break
        page.goto(action.url)
    page.wait_for_load_state("networkidle")

安全边界：
- 域名白名单，禁止访问内网/管理面
- 独立浏览器 profile，不共享个人登录态
- 下载/上传目录隔离，限制文件类型
- 发送/提交/支付前人工审批
- 记录 URL、动作、截图、下载和网络请求

易错点与排错

• 用固定 CSS/XPath：页面改版就失效；优先 role/label/文本等语义定位。
• 没有等待：元素还没出现就点击；用 wait_for_*、networkidle 或显式条件。
• 登录态泄漏：共享个人浏览器 profile，可能把账号/cookie 带给 Agent；用独立 profile。
• 网络无限制：Agent 可能访问内网或外泄数据；域名白名单 + 出站代理。
• 反爬/CAPTCHA：不要绕过合法防护；与站点协商 API 或人工处理。
• 动态内容/iframe：模型看到的 DOM 不完整；处理 iframe、shadow DOM 和异步加载。
• 文件上传/下载风险：恶意文件可能进入或带出数据；限制类型、大小和目录。
• 提示注入：网页正文可能藏指令；把页面内容当不可信数据，动作前校验目标。
• 没有 trace：失败无法复现；记录每步 DOM/截图/动作/URL。

相关命令

• computer-use — 屏幕级操作与沙箱。
• htmlq — 静态 HTML 查询。
• curl — 简单 HTTP 请求。
• guardrails-ai — 输入/输出护栏。
• prompt-injection — 网页内容的注入风险。

参考链接

• Playwright 文档
• Anthropic Computer Use
• OpenAI Computer Use

读完自测

合上页面，先回答，再展开对照。

1. 什么时候应该用 API 而不是浏览器 Agent？
2. 为什么优先用 role/label 定位而不是固定 CSS 选择器？
3. 浏览器 Agent 需要限制哪些网络和文件权限？