InfoQ

Stripe Benchmark Shows AI Agents Build Integrations but Struggle with Validation

8.5内容质量
Stripe Benchmark Shows AI Agents Build Integrations but Struggle with Validation

TL;DR · AI 摘要

Stripe基准测试显示AI代理能构建集成但验证环节表现不足，正确性仍是金融系统关键挑战。

核心要点

  • Claude Opus 4.5在全栈API任务中平均得分92%，显著优于GPT 5.2的73%
  • 验证环节是AI代理当前核心瓶颈，影响金融系统集成可靠性
  • Stripe构建的11个可复现环境涵盖Checkout迁移等生产级场景

结构提纲

按章节快速跳转。

  1. §基准测试目标

    评估AI代理在金融系统集成中的端到端能力，强调正确性验证的重要性。

  2. ·测试环境设计

    包含11个模拟Stripe集成项目的可复现环境，涵盖后端、前端和结账流程。

  3. ›评估方法论

    通过Goose和MCP协议实现终端访问、浏览器自动化和文档检索的统一评估框架。

  4. ·性能表现分析

    Claude Opus 4.5在全栈任务中表现优异，但跨系统验证任务正确率显著下降。

  5. ›验证挑战

    AI代理在状态跟踪和跨系统验证环节表现不足，影响金融系统可靠性。

思维导图

用一张图看清主题之间的关系。

查看大纲文本（无障碍 / 无 JS 友好）
  • Stripe AI Agent Benchmark
    • 测试环境
      • 11个可复现场景
    • 评估维度
      • 后端任务
      • 全栈流程
      • 验证准确性
    • 关键发现
      • Claude Opus 4.5优势
      • 验证环节瓶颈

金句 / Highlights

值得收藏与分享的关键句。

#AI Agents#Stripe#Benchmark#Integration Testing#Validation
打开原文

Stripe基准测试揭示AI代理构建集成但验证能力不足 - InfoQ

InfoQ首页新闻 Stripe基准测试揭示AI代理构建集成但验证能力不足

架构与设计

为高风险事件响应构建AI代理评估（8月6日网络研讨会）

Stripe基准测试揭示AI代理构建集成但验证能力不足

2026年7月15日 2分钟阅读

作者：

  • Leela Kumili

#### 关注我们

YouTube

232,000关注者

LinkedIn

26,000关注者

Instagram

新

RSS

19,000读者

X

57,100关注者

Facebook

21,000点赞

Bluesky

收听本文 -

0:00

音频准备就绪

您的浏览器不支持音频元素。

正常

1.25x

1.5x

喜欢

新下拉阅读列表

  • 阅读列表

Stripe推出了一个基准测试套件，用于评估AI代理是否能够端到端地构建真实的Stripe集成，涵盖后端服务、前端应用和基于浏览器的结账流程。该基准测试的目标是衡量AI系统在代码生成之外，能够深入完整软件工程工作流程的程度，这些流程需要在真实环境中执行、测试和验证。重点放在金融系统中生产级集成场景，这些场景对正确性要求严格，部分成功并不足够。

该基准测试围绕11个可复现的环境构建，这些环境模拟了Stripe集成项目，如结账迁移和计费API建模。每个环境都包含完整应用程序代码库、数据库、脚本和测试用的Stripe API密钥。代理的评估包括仅后端任务、涉及基于浏览器结账流程的全栈工作流，以及特定产品练习，如订阅和结账集成。

代理通过基于Goose和模型上下文协议（MCP）的一致性框架运行，具备终端访问、浏览器自动化和文档检索工具。任务不仅需要代码生成，还需要运行服务、与API交互，并通过自动化测试或模拟用户流程验证端到端行为。确定性评分器通过API调用、UI自动化和检查Stripe对象（如结账会话）来验证结果。虽然Stripe没有发布单一的综合成功率，但结果因任务类型而异，后端集成表现较强，而需要跨系统验证和状态跟踪的任务表现较弱。

在评估细分中，Claude Opus 4.5在四个场景的全栈API集成任务中平均得分92%，而GPT 5.2在两个场景的结构化健身房风格任务中达到73%。最佳运行平均保持63次交互轮次，表明长期执行能力有所提升，但在扩展工作流程中仍出现正确性退化。

全栈基准测试结果（来源：Stripe博客文章）

Stripe软件工程师Carol L在LinkedIn帖子中指出，核心限制是验证而非代码生成。

AI代理目前还无法取代软件工程师，至少在构建Stripe集成时是这样。金融系统需要严格的正确性，而当前代理在集成工作流程中缺乏稳定的验证层。

突出了两种常见的失败模式。在 SDK 升级场景中，代理有时会错误地解读验证信号。当接收到无效的 Stripe 输入时，它们会观察到预期的 HTTP 400 响应，但错误地得出集成成功的结论。在更稳健的运行中，代理会生成合成测试数据并使用它来正确验证行为。

第二种失败模式出现在基于浏览器的结账流程中。代理需要通过网页界面完成完整的支付流程，包括输入地址和信用卡信息并生成结账会话 ID。工具交互可能会破坏浏览器状态，例如将焦点移出输入字段。尽管可以通过刷新或重新聚焦操作恢复，但代理通常无法恢复并提前终止任务。

观察基准测试的从业者指出：

许多代理评估仍然忽略了生产环境中的关键问题，例如幂等性、重试机制和授权范围错误，这些问题经常导致实际集成失败。因此，该基准测试更多地突出了验证推理、状态管理和多步骤执行恢复方面的局限性，而非代码生成能力。

Stripe 将该基准测试定位为一个不断演进的框架，用于在现实环境中研究代理软件工程。它已作为其 AI 工具包的一部分开源，从而支持进一步实验。未来的迭代预计将改进对模糊验证信号的处理、浏览器状态连续性以及在生产类系统中端到端集成正确性。

作者部分主容器

关于作者

章节标题

每位作者的主容器

#### Leela Kumili

显示更多

显示更少

#### 本内容属于 AI 开发主题

##### 相关主题：

  • 开发
  • 架构与设计
  • AI、机器学习与数据工程
  • AI 开发
  • AIOps
  • 支付
  • 验证
  • Web 浏览器
  • ChatGPT
  • 可观测性
  • 代理
  • 软件工程
  • Stripe
  • 基准测试
  • Claude
  • 集成
  • AI 编程
  • 相关编辑内容
  • 相关赞助商
  • 相关赞助商 2026 年 8 月 6 日，东部时间下午 1 点 由 Brianne Bujnowski（Datadog AI 高级产品营销经理）和 Benjamin Barton（Datadog 高级软件工程师）主讲的“为高风险事件响应构建 AI 代理评估”

InfoQ 新闻通讯

每周五发送 InfoQ 上一周内容的摘要。加入超过 250,000 名高级开发者的社区。查看示例

我们保护您的隐私。