Your Agent Is Only as Good as Your Infrastructure

用于智能代理工作流的基础设施 | CoreWeave 博客

发布于

2026年7月28日

阅读时间

您的代理表现取决于基础设施

作者

Selene Cecchinel

已复制

您的代理表现取决于基础设施

您开发了一个出色的代理，但当它投入生产环境时却出现了问题。

在测试阶段，您的代理能够独立高效地审查拉取请求。它会阅读代码差异，使用grep在代码库中查找相关用法，运行测试套件，检查CI是否因之前的提交仍然显示红色，并起草评论——所有这些操作都在您自己阅读代码差异之前完成。

然而在生产环境中，同样的五个步骤需要为团队代理在那小时内执行的每个PR审查重复运行。有些审查在几秒内完成；而其他审查则需要等待数分钟，因为测试套件步骤恰好落在另一个代理的突发任务正在执行的节点上。

代理本身没有变化，但执行环境发生了改变，这决定了审查时间是保持稳定还是逐渐增加。

智能代理应用引入了与传统聊天应用不同的执行模式。随着这些工作流变得越来越长且动态化，基础设施对延迟、可靠性和成本的影响将远大于简单的聊天机器人。

这就是为什么您的代理表现取决于基础设施。

代理不是具有更多步骤的聊天机器人

为聊天机器人和AI代理提供推理服务之间的区别不仅仅是后者"能力更强"。它们执行工作的模式存在根本差异：

• 聊天机器人通常为每个用户消息执行一次推理调用。模型接收提示，生成响应，然后等待下一个用户输入再继续。

• 代理会执行整个工作流，将单个用户消息转化为一系列推理调用。它可能决定搜索文档、从数据库检索数据、调用API、执行代码、评估结果，然后重复这个过程直到生成答案。每个决策都可能触发另一个推理调用，每个结果都成为下一步的额外上下文。

这种执行模式改变了AI代理的基础设施需求。

一个问题，背后可能有多个步骤

系统不再需要优化单个推理请求，而是必须支持长期运行的工作流，其延迟和可靠性取决于链中每个组件的表现。

单个用户请求通常会扩展为一系列推理和工具执行步骤，有时称为多轮工具调用或多步骤代理循环。模型不再生成单一响应，而是在推理和与外部系统交互之间交替进行。

以下是该工作流的示例：

例如，您询问代理为什么结账延迟在夜间突然激增。代理会提取部署日志，查询监控系统，对连接池运行诊断，判断问题根源是糟糕的部署还是容量问题，然后将这些信息整合到另一个推理调用中，最终生成完整响应并给出答案。

每个推理步骤都成为另一个推理请求，每个工具的结果都会在下一步之前添加到模型的上下文中。

这种工作流改变了可靠性的定义

多轮工作流本质上是顺序执行的，因此即使延迟较低，也会迅速累积成显著的总耗时。每个推理步骤都必须等待前一个步骤完成。如果数据库查询耗时两秒，模型必须等到查询结果返回后，才能开始下一步推理。模型可能快速生成标记，但其他步骤却会拖慢整体进度。

在代理工作流中，链式中的每个步骤都必须等待，因为链式结构的强度取决于最慢的环节。与处理独立推理请求不同，推理堆栈必须协调一系列依赖的模型调用和外部工具调用。随着这些工作流变长，堆栈的性能将越来越决定应用的执行速度、可靠性和成本效益。

但用户不会看到协调过程中的问题。他们只会看到代理卡顿或放弃响应。

这就是为什么代理的端到端可靠性取决于远不止模型质量的因素。基础设施决定了每个步骤是否具备在负载下稳定执行所需资源。

为什么账单和性能都显得难以预测

代理工作流存在另一个容易让团队措手不及的差异：需求模式及其对推理账单的影响。

大多数推理服务及其定价模型都假设流量以可预测的节奏到达。典型的推理解决方案了解可预测的需求模式：用户流量增加，请求量增加，容量随之扩展。云基础设施通常通过自动扩展、负载均衡和容量规划等机制，针对这些稳定请求模式进行优化。

代理工作负载的行为却截然不同。单个工作流在等待外部系统时会暂停，而一旦新信息可用，就会立即恢复执行。

• 暂停阶段：代理等待外部API或数据库响应，此时为该工作流提供服务的GPU没有推理任务可执行，其累积的上下文可能在等待期间被从GPU内存中清除。
• 爆发阶段：当外部系统返回结果时，多个工作流会同时恢复推理，导致GPU需求出现短暂而剧烈的峰值，每个工作流都需要重新处理其累积的完整上下文。

想象一下上方的图表和代理调用工具时的“推理”模式。基础设施在工具调用阶段处于空闲状态，而在代理推理阶段则出现需求激增。

围绕稳定或可预测请求流设计的推理服务，在这种情况下可能难以高效分配资源。这会导致延迟不一致、GPU利用率低下或运营成本增加。

当性能变得难以预测，或者账单与预期不符时，这表明你的基础设施是为其他类型的工作负载而构建的，而非你实际运行的代理工作负载。

专为代理设计的基础设施究竟长什么样

与传统AI工作负载相比，代理应用对基础设施提出了不同的要求：长依赖链、突发性需求和持续演变。正因如此，基础设施决定了链式结构能否保持稳定，也决定了账单能否保持可控。

要让代理正常运行，需要基础设施具备以下特性：

• 贯穿整个链路的稳定性能。基础设施必须确保多步骤、多工具工作流的延迟保持一致。

• 能够应对突发需求的可扩展性。基础设施应能随着推理需求的波动快速扩展，无需在空闲时段保持容量预留。

• 即使面对动态工作负载，也能实现可预测的成本结构。基础设施费用应真实反映基础设施的实际使用情况。

您的代理系统的好坏取决于基础设施的质量。如果基础设施设计得当，代理系统的响应速度、可靠性和成本效益将对您的工作产生积极影响。

这是关于智能代理推理及其支撑基础设施的三部分系列文章的第一篇。敬请期待下周四发布的下一篇文章，我们将深入探讨智能代理提示的结构、前缀感知路由和键值缓存等技术。

了解如何为智能代理工作流量身打造基础设施：

• 观看网络研讨会：通过定制的AI云解锁智能代理突破
• 阅读博客：CoreWeave打通训练与推理的闭环
• 了解CoreWeave解决方案：如何在可靠性基础上构建AI代理

关于智能代理AI的三部分系列文章第一篇。生产级AI代理不仅依赖模型质量，还需考虑多轮工具调用、突发需求和基础设施对性能的影响。

分享本文：