Browser Use(@browser_use)

little browser agent hack: stop sending screenshots to find buttons. ask Chrome for the accessibili...

8.5内容质量

TL;DR · AI 摘要

通过Chrome的Accessibility API获取可访问性树,可替代截图识别按钮,提升AI代理浏览器操作效率。

核心要点

  • 使用CDP的Accessibility.getFullAXTree方法获取元素的role、name和node id
  • 过滤后通过DOM.getBoxModel获取元素坐标实现精准点击
  • GitHub项目browser-harness实现了该无截图的浏览器自动化方案

结构提纲

按章节快速跳转。

  1. 传统浏览器自动化依赖截图识别元素,存在效率和准确性问题。

  2. 通过Chrome CDP的Accessibility.getFullAXTree接口获取结构化元素数据。

  3. 过滤可点击元素后调用DOM.getBoxModel获取坐标,实现无截图的精准操作。

  4. browser-harness项目验证了该方案在Hacker News上的可行性。

思维导图

用一张图看清主题之间的关系。

查看大纲文本(无障碍 / 无 JS 友好)
  • 无截图浏览器自动化方案
    • 核心技术
      • Chrome CDP接口
      • Accessibility.getFullAXTree
      • DOM.getBoxModel
    • 实现流程
      • 获取可访问性树
      • 元素过滤
      • 坐标定位
    • 应用案例
      • browser-harness项目
      • Hacker News测试

金句 / Highlights

值得收藏与分享的关键句。

#Chrome DevTools协议#AI代理#自动化测试#无障碍技术
打开原文

X上的浏览器使用技巧:「小技巧:停止发送截图寻找按钮。向Chrome请求可访问性树:cdp("Accessibility.getFullAXTree") > 所有包含角色、名称和节点ID的元素 > 筛选出链接、按钮和输入框 > DOM.getBoxModel -> 在Hacker News上点击中心位置:1,764个节点 -> 227个可点击元素,零视觉标记。Browser Harness代理就是这么工作的:」

浏览器使用

@browser_use

小技巧:停止发送截图寻找按钮。向Chrome请求可访问性树:cdp("Accessibility.getFullAXTree") > 所有包含角色、名称和节点ID的元素 > 筛选出链接、按钮和输入框 > DOM.getBoxModel -> 在Hacker News上点击中心位置:1,764个节点 -> 227个可点击元素,零视觉标记。Browser Harness代理的工作方式如下:

GitHub - browser-use/browser-harness: 让Claude Code、Codex或Cursor使用你的真实Chrome浏览器,登录...

来自 github.com

2026年11月7日 上午3:16

·

4,895 次浏览

13

5

99

81