How Braintrust uses AI agents, evals, and CI to ship better software | Ankur Goyal
TL;DR · AI 摘要
Braintrust 使用 AI 代理、评估和 CI/CD 实现更高效的软件开发，提升工程效率与产品质量。
核心要点
- 使用 AI 代理可以执行复杂的数据库优化任务，如索引和执行引擎的基准测试。
- 通过构建评分函数，AI 可以在安全环境中优化提示，提升模型输出质量。
- CI/CD 投资是 AI 加速团队提高工程速度的关键因素。
结构提纲
按章节快速跳转。
- §引言
介绍 Ankur Goyal 和 Braintrust 平台，以及 AI 在软件开发中的应用。
Ankur 使用 Codex 进行数据库索引、列存储格式和执行引擎的基准测试。
Evals 是现代版的 PRD，用于定义“什么是好”的标准，帮助模型优化输出。
CI/CD 投资是 AI 加速团队提高工程速度的关键因素。
思维导图
用一张图看清主题之间的关系。
查看大纲文本（无障碍 / 无 JS 友好）
- AI 在软件开发中的应用
- AI 代理
- 数据库优化
- 执行引擎测试
- Evals
- 定义质量标准
- 优化模型输出
- CI/CD
- 提高工程速度
- 确保产品质量
金句 / Highlights
值得收藏与分享的关键句。
Evals are the modern version of a PRD: they define what good looks like so a model can figure out the how.
Ankur uses Codex to run week-long benchmark experiments across database indexes, column store formats, and execution engines.
CI/CD investment is critical for AI-accelerated teams to speed up engineering velocity.
Braintrust 如何利用 AI 代理、评估和 CI 来打造更好的软件 | Ankur Goyal
播放速度
×
分享帖子
分享当前时间的帖子
从 0:00 开始分享
0:00
/
Braintrust 如何利用 AI 代理、评估和 CI 来打造更好的软件 | Ankur Goyal
🎙️ “评估是现代版的产品需求文档（PRD）”：Ankur Goyal（Braintrust）谈如何将品味编码进可扩展的系统中
Claire Vo
2026 年 6 月 15 日
在这一期节目中，我与 Braintrust 的创始人兼首席执行官 Ankur Goyal 进行了对话。Braintrust 是一家提供 AI 评估和可观测性平台的公司，被 Notion、Stripe、Vercel 和 Zapier 等团队使用。这一期节目是为我观众中的高级工程师、员工工程师、工程副总裁和首席技术官准备的。我们将探讨编码代理如何承担以前任何单个工程师都无法处理的深度技术架构和基础设施工作，然后我们将揭开评估的神秘面纱，教你如何在不接触实现细节的情况下使用它们来改进 AI 产品。
在 YouTube、Spotify 或 Apple Podcasts 上收听或观看
你将学到的内容：
- Ankur 如何使用 Codex 在数据库索引、列存储格式和执行引擎上运行为期一周的基准测试实验，以加快缓慢的查询速度
- 他为何认为现在代理可以无休止地运行这些基准测试，因此没有理由跳过严格的基准测试
- “代理线”框架：如何决定哪些决策、方向和互动可以交给代理处理
- 我如何看待 AI 在解决复杂技术问题时的实际与理论质量，以及为何人类注意力在繁琐工作中会下降
- 为何评估是现代版的产品需求文档（PRD），以及如何将“良好表现”的定义编码，让模型自行找出“如何实现”的方法
- 如何实时构建评分函数，并让代理在安全的沙盒环境中改进你的提示
- Ankur 如何将他的设计师 David 的品味转化为可重复的评估，使质量超越个人能力
- 为何修复 CI 是提高工程速度最有效的方式
由以下平台带来：
Guru — AI 的真相层
Persona — 适用于任何用例的可信身份验证
在这一期节目中，我们涵盖了以下内容：
( 00:00 ) Ankur Goyal 介绍
( 03:00 ) 使用 AI 代理进行数据库优化
( 06:10 ) 使用编码代理运行详尽的基准测试
( 09:03 ) 为什么员工工程师对 AI 的限制存在误解
( 11:30 ) 委派的“代理线”框架
( 14:00 ) Ankur 的工作流程：同时运行 4 到 6 个代理
( 17:16 ) 技术设置：前台代理、后台代理和云环境
( 20:32 ) 与 AI 工具共度时间
( 23:06 ) 揭开评估的神秘面纱
( 26:02 ) 实时演示：为文档答案构建评估
( 30:20 ) 评估的替代方案：氛围检查和打地鼠游戏
( 32:09 ) 在评分函数中捕捉设计师的品味
( 33:13 ) 快速回顾
( 33:44 ) 管理速度和吞吐量
( 35:40 ) 为何 CI/CD 投资对 AI 加速团队至关重要
( 37:30 ) 当代理失败时 Ankur 的提示策略
( 39:10 ) 结束语和如何联系
引用的工具：
• Braintrust: https://www.braintrust.dev/
• Codex: https://openai.com/codex/
• GPT 5.4: https://developers.openai.com/api/docs/models/gpt-5.4
• Claude: https://claude.ai/
其他参考资料：
• GPT 5.5 刚刚做到了其他模型无法做到的事情：https://www.lennysnewsletter.com/p/gpt-55-just-did-what-no-other-model
• Paul Graham 的制造者与管理者日程安排：http://www.paulgraham.com/makersschedule.html
• tmux: https://github.com/tmux/tmux
• Chris Tate 在 Vercel: https://www.linkedin.com/in/ctatedev/
如何找到 Ankur Goyal:
LinkedIn: https://www.linkedin.com/in/ankrgyl/
如何找到 Claire Vo:
ChatPRD: https://www.chatprd.ai/
Website: https://clairevo.com/
LinkedIn: https://www.linkedin.com/in/clairevo/
X: https://x.com/clairevo
由 https://penname.co/ 制作和营销。如需了解关于赞助播客的更多信息，请发送电子邮件至 [email protected] 。
#### 关于本视频的讨论
评论
Restacks
如何使用 AI
由 Claire Vo 主持的《如何使用 AI》适合任何想知道如何真正使用这些神奇的新工具来提高工作质量和效率的人。每一集，嘉宾都将分享他们在工作中或生活中学习到的具体、实用且有影响力的方法来使用 AI。预计每集时长为 30 分钟，包括实时屏幕共享以及你可以立即复制的技巧、技巧和工作流程。如果你想揭开 AI 的神秘面纱，并学习在新世界中生存所需的技能，这个播客就是为你准备的。
收听方式
Substack App
Apple Podcasts
Spotify
YouTube
Overcast
Pocket Casts
RSS Feed
出现在集数中
撰写
Claire 的 Substack
近期集数
如何设计 AI 代理循环：在 Claude Code 和 Codex 中的计划、目标和子代理
7 小时前
Claude Fable 5 评测：新的 Mythos 模型做对了什么（以及做错了什么）
6 月 9 日
•
与 Claude 一起购物：如何找到优质品牌、自动化退货并购买能使用 100 年的产品 | Nicole Ruiz
6 月 8 日
Gemini Omni：在 15 分钟内用 AI 克隆自己
6 月 3 日
无需任何技术技能构建 iPhone 应用 | Bryce Rattner Keithley
6 月 1 日
Claude Opus 4.8 已发布。它真的有那么好吗？
5 月 28 日
Codex 功能：在你睡觉时也能运行
5 月 27 日