Windsurf(@windsurf_ai)

How to use Devin to automate evals from production traffic.

8.5内容质量
How to use Devin to automate evals from production traffic.

TL;DR · AI 摘要

Rox公司使用Devin自动化评估生产流量，覆盖72%的实际使用情况。

核心要点

  • Devin每周自动重建代理失败案例并生成评估套件
  • 自动化评估覆盖率达72%真实用户场景
  • Rox团队仅需审查Devin生成的PR即可完成评估

结构提纲

按章节快速跳转。

  1. §引言

    Rox公司已完全停止人工编写评估用例。

  2. ·Devin的自动化流程

    系统每周自动分析真实对话并重建失败场景。

  3. ›评估套件生成

    通过完整复制Rox环境生成可验证的评估用例。

  4. ·实施效果

    当前评估套件已覆盖72%的真实用户使用场景。

思维导图

用一张图看清主题之间的关系。

查看大纲文本（无障碍 / 无 JS 友好）
  • Devin自动化评估生产流量
    • 实施方法
      • 真实对话分析
      • 环境重建
    • 效果指标
      • 72%覆盖率
      • PR审查流程

金句 / Highlights

值得收藏与分享的关键句。

#Devin#自动化评估#生产流量#Rox#AI测试
打开原文

Devin Developers on X: "如何使用 Devin 从生产流量中自动化评估" / X

Devin Developers

@devindevelopers

如何使用 Devin 从生产流量中自动化评估。

Rox

@rox_ai

10月15日

Rox 团队的成员现在不再手动编写评估用例。Devin 现在每周都会对我们的代理进行质量检查，使用真实流量数据。它会读取与我们的代理的真实对话，复现 Rox 的完整副本中的每个故障，并将其转化为评估用例。我们只需审查代码审查请求。评估套件已经覆盖了 72% 的实际使用场景。

显示更多

2026年10月15日 晚上8:07

·

5,036 次浏览

2

11

53

12