Browser Use(@browser_use)
little browser agent hack: stop sending screenshots to find buttons. ask Chrome for the accessibili...
8.5内容质量
TL;DR · AI 摘要
通过Chrome的Accessibility API获取可访问性树,可替代截图识别按钮,提升AI代理浏览器操作效率。
核心要点
- 使用CDP的Accessibility.getFullAXTree方法获取元素的role、name和node id
- 过滤后通过DOM.getBoxModel获取元素坐标实现精准点击
- GitHub项目browser-harness实现了该无截图的浏览器自动化方案
结构提纲
按章节快速跳转。
- §技术背景
传统浏览器自动化依赖截图识别元素,存在效率和准确性问题。
- ·核心方法
通过Chrome CDP的Accessibility.getFullAXTree接口获取结构化元素数据。
- ›实现步骤
过滤可点击元素后调用DOM.getBoxModel获取坐标,实现无截图的精准操作。
- ·项目实践
browser-harness项目验证了该方案在Hacker News上的可行性。
思维导图
用一张图看清主题之间的关系。
查看大纲文本(无障碍 / 无 JS 友好)
- 无截图浏览器自动化方案
- 核心技术
- Chrome CDP接口
- Accessibility.getFullAXTree
- DOM.getBoxModel
- 实现流程
- 获取可访问性树
- 元素过滤
- 坐标定位
- 应用案例
- browser-harness项目
- Hacker News测试
金句 / Highlights
值得收藏与分享的关键句。
ask Chrome for the accessibility tree: cdp("Accessibility.getFullAXTree")
1,764 nodes -> 227 clickable, zero vision tokens
Browser Harness agents work this way: GitHub - browser-use/browser-harness
#Chrome DevTools协议#AI代理#自动化测试#无障碍技术
打开原文X上的浏览器使用技巧:「小技巧:停止发送截图寻找按钮。向Chrome请求可访问性树:cdp("Accessibility.getFullAXTree") > 所有包含角色、名称和节点ID的元素 > 筛选出链接、按钮和输入框 > DOM.getBoxModel -> 在Hacker News上点击中心位置:1,764个节点 -> 227个可点击元素,零视觉标记。Browser Harness代理就是这么工作的:」
浏览器使用
@browser_use
小技巧:停止发送截图寻找按钮。向Chrome请求可访问性树:cdp("Accessibility.getFullAXTree") > 所有包含角色、名称和节点ID的元素 > 筛选出链接、按钮和输入框 > DOM.getBoxModel -> 在Hacker News上点击中心位置:1,764个节点 -> 227个可点击元素,零视觉标记。Browser Harness代理的工作方式如下:
GitHub - browser-use/browser-harness: 让Claude Code、Codex或Cursor使用你的真实Chrome浏览器,登录...
来自 github.com
2026年11月7日 上午3:16
·
4,895 次浏览
13
5
99
81