Bug0 Releases QA Agent to Automate Regression Testing With Cached Playwright Replays

Bug0 发布 QA Agent，利用缓存的 Playwright 重放实现回归测试自动化 - InfoQ

InfoQ 首页 News Bug0 发布 QA Agent，利用缓存的 Playwright 重放实现回归测试自动化

开发

扩展 OpenTelemetry：管理收集器、配置和成本（11 月 19 日网络研讨会）

Bug0 发布 QA Agent，利用缓存的 Playwright 重放实现回归测试自动化

2026 年 10 月 29 日 3 分钟阅读

作者：

• Bruno Couriol

#### 关注我们

YouTube

232K 粉丝

LinkedIn

26K 粉丝

Instagram

新

RSS

19K 读者

X

57.1k 粉丝

Facebook

21K 喜欢

Bluesky

收听本文 -

0:00

音频准备播放

您的浏览器不支持音频元素。

正常

1.25x

1.5x

喜欢

新下拉阅读列表

• 阅读列表

Linearbytes 发布了 Bug0 QA Agent，这是一个开源的 Playwright 库，用于智能浏览器回归测试。该 AI 代理将自然语言表达的测试指令映射到用户界面操作，根据需要缓存这些操作以加快 CI 重放速度，并在用户界面变更时重新映射到测试规范。验证基于最多三个 LLM 的共识以及视觉模型的评估。

在光谱的一端，传统网页应用测试方法虽然主要实现自动化，但并未将 AI 作为关键生产力因素。在另一端，创新团队采用完全基于代理的自动化测试方法，代理处于核心位置，动态处理所有浏览器交互。

传统方法常常陷入已知痛点。测试套件通常依赖于实现细节（CSS 类、属性、data-testid），即使规范保持不变，这些细节也可能发生变化，导致不必要的测试重写和重构。由于 Web 应用程序底层复杂、异步且分布式的系统固有的不可预测性（竞态条件、延迟、调用丢失），测试变得不稳定。

另一方面，以 AI 优先的测试方法由于高延迟而难以处理大规模回归测试套件。LLMs 每个步骤通常会增加数秒延迟，推高 API 令牌成本，并因执行操作的非确定性引入自身特有的不稳定因素。但另一方面，测试生成对实现变更具有较强的抵抗性；图像和视频模型可能在某些情况下成功提供视觉验证。

Bug0 提出了一种混合方法，其自主代理将初始视觉探索与常规回归执行解耦。开发人员在标准 Playwright 规范中使用纯英文编写声明式测试步骤。

test
(
"Shopping cart tests"
,
async
(
{
page
}
)
=>
{
await
runSteps
(
{
page
,
test
,
expect
,
userFlow
:
"Add product to cart"
,
steps
:
[
{
description
:
"Navigate to https://demo.vercel.store"
}
,
{
description
:
"Click Acme Circles T-Shirt"
}
,
{
description
:
"Select color"
,
data
:
{
value
:
"White"
}
}
,
{
description
:
"Select size"
,
data
:
{
value
:
"M"
}
}
,
{
description
:
"Add to cart"
,
waitUntil
:
"My Cart is visible"
}
,
]
,
assertions
:
[
{
assertion
:
"Cart shows the Acme Circles T-Shirt"
}
]
,
}
)
;
}
)
;

在首次执行时，代理会检查可访问性树和屏幕截图，以理解用户界面并执行请求的操作。一旦单步操作成功执行，框架会将交互编译为具体的浏览器操作，并将其缓存到内存中的 Redis 存储中。在后续运行中，测试套件会直接通过 Playwright 重放缓存的操作，避免新 LLM 推理的延迟成本。

当用户界面的实现细节发生变化（例如按钮坐标更新、表单层次结构修改）时，重放的 Playwright 操作可能会因此引发执行失败。但 Bug0 QA Agent 会检测到这种中断，使操作缓存失效，并重新调用多模态代理循环。重要说明：缓存仅适用于单步操作；复杂的多步指令在每次运行时都会通过代理重新执行。

与操作步骤不同，断言验证不会被缓存。断言通过视觉模型在每次运行时执行。Claude 和 Gemini 独立评估每个断言，第三个模型用于解决平局。视频模型可以捕捉瞬时的 UI 缺陷（例如自动消失的提示条、闪烁的横幅错误）。

框架通过 mailsink 和社区构建的适配器（如 Mailinator）嵌入一次性邮箱测试，允许测试通过自然语言提示（如 {{email.otp:提取6位代码}}）提取一次性密码（OTPs）和魔法链接。

Chevrot 等人（《自主网络代理是优秀的测试人员吗？》）报告称，他们表现最佳的自主测试架构（ATA）在约 60% 的测试运行中与人类专业测试人员意见一致，将断言可验证性和接地（识别测试操作相关的目标应用元素）作为提升自主测试代理使用规模的主要驱动因素。该论文于 2025 年 4 月发表，使用了 GPT-4o、Sonnet 和 Gemini。随着语言模型和工具链的持续改进，利用 AI 提升测试各方面的生产力（生成、自愈、执行、分类、分析）的努力也在不断进步。

Bug0 QA Agent 采用功能源代码许可协议（Functional Source License），版本 1.1，ALv2 未来许可。功能源代码许可协议是一种源代码可用许可（即非开源），在使用前两年内会施加非竞争限制。该许可协议由 Sentry 首次提出，其表述为“在不造成有害的搭便车行为的前提下授予自由”。

关于作者

作者信息

#### Bruno Couriol

显示更多

显示更少

#### 本内容属于 DevOps 主题

##### 相关主题：

• 开发
• DevOps
• AI、机器学习与数据工程
• 代理
• AI 编码
• 回归测试
• 相关编辑
• 相关赞助商 代理 AI 威胁：为什么您的 Java 补丁策略已不再足够
• 相关赞助商 了解 Azul 如何帮助 Java 团队降低 JVM 漏洞风险，加强应用安全性，并为代理 AI 做好 Java 环境准备。探索在保持性能和可靠性的同时，保障 Java 工作负载安全的实际策略。了解更多。

InfoQ 新闻简报

每周内容精选，每周二发送。加入超过 25 万名高级开发者的社区。查看示例

我们保护您的隐私。