The AI Loop: Launch Day Is Day One

AI循环如何帮助你更快创新 | CoreWeave博客

发布于

2026年8月10日

6

分钟阅读

AI循环：发布日即第一天

你的模型和代理不是终点，而是起点。

by

Corey Sanders

已复制

过去几年里，团队一直把模型当作交付物来对待。训练它、评估它、部署它、绘制损失曲线。完成，结束。

那个时代已经过去。现在发布更接近起点而非终点。当模型或代理进入生产环境的那一刻，它就开始生成你拥有的最有价值的数据集：证明它在真实用户、真实边缘案例和真实失败场景中的实际表现。领先团队将这些证据视为燃料。他们将其作为循环运行，并尽可能快速地运行这个循环，以确保为用户或更广泛的市场带来最佳模型。

我们称之为AI循环。这是CoreWeave与Weights & Biases共同构建所有内容的框架：训练、推理、可观测性、评估、反馈和改进作为一个系统协同工作，而不是你自己用胶带粘合的一堆工具，并用希望维系。

循环步骤详解

• 运行：通过CoreWeave推理服务将模型或代理置于真实流量面前，在CoreWeave GPU上托管和无服务器运行，或在CoreWeave Kubernetes服务（CKS）上的专用端点运行

• 观察：通过Weave追踪和实时评分捕获实际发生的情况，同时CoreWeave Mission Control监控底层基础设施

• 策展：将故障、边缘案例和用户反馈聚类成有价值的学习数据集，并在Registry中进行版本管理

• 评估：使用Weave评估将这些数据集转化为定义需要修复内容的评估集，作为每个候选必须通过的关卡

• 改进：进行改进，从更精准的提示到使用CoreWeave Training在CKS或SUNK上的后训练，在W&B Models中进行追踪，自动化处理重新部署，并证明其在质量、成本和延迟方面优于被替换的版本。模型改进策略包括无服务器强化学习和无服务器监督微调。

然后重复。这个循环不会结束：它持续加速，提高响应准确性并降低成本。

希望从不是你的评估策略

AI循环最简单的路径就是代理如何改进：代理运行、生成追踪、接受评估、接收反馈并改进。这里的大部分改进都不会触及模型的权重。可能是更精准的提示带来了更好的工具，或是更贴合终端用户角色的新技能，或是仅仅跟上最新模型的成本/效益比。

这项工作更快、更便宜且更有价值。随着你不断迭代，精炼代理的行为，你可以专注于AI应用，让平台处理基础设施。如果它可靠且性能稳定，你会将其视为理所当然。一旦你的代理进入生产环境且没有人再查看追踪记录，你不是在调试，而是在举行招魂仪式。Weave的存在就是为了真正实现追踪：每一次调用都被追踪，每一个输出都被评分，在线评估针对实时流量运行，而非你的最佳猜测。

所以是的：所有正在构建AI应用的行业从业者都应持续改进其代理循环（agent loop）。这是生产AI的最低护理标准。这正是为什么它无法长期为你带来竞争优势的原因。当所有人使用相同的前沿模型运行相同的代理循环时，最终所有人都会达到相同的上限。

深入探讨：模型训练循环

除了代理AI循环之外，还有一个更深层次、更复杂的循环：训练后阶段。在精心筛选的失败案例上进行微调，在由自身生产流量构建的评估数据上进行强化学习，直接修改模型权重本身。

这是技术严谨型企业真正的差异化优势。不是模型访问权限（所有人都能获得），也不是巧妙的提示工程（所有人都会复制）。而是能够反复地、有证据地将循环闭合到权重层级的能力。（代理系统在此过程中也能提供帮助。）

大多数组织只停留在提示层，因为更深层的模型循环需要提示层永远无法满足的条件：训练计算与推理并行运行，用于奖励验证和代理部署的隔离执行环境（CoreWeave Sandboxes），足够严格的评估体系作为关卡，以及在模型上线前证明候选模型优于现有模型的纪律性。这一门槛正在降低。CoreWeave Training无需你搭建训练集群即可运行无服务器强化学习和无服务器微调，当你的需求超出无服务器架构时，CKS和SUNK会为你提供与我们训练前沿模型相同的集群。（我们很自豪能为10家前沿实验室中的9家提供服务。）

首先在能力层面。提示优化存在渐近线，权重优化则会产生复利效应，你独有的失败数据会成为模型本身的竞争优势，竞争对手无法复制粘贴这些数据。

其次在经济性和性能层面。为特定任务进行后训练的模型可能在成本和延迟上优于更大规模的提示模型。由于CoreWeave在相同裸金属平台上运行训练和推理，这种改进会以具体数字体现：美元和毫秒（而不是模糊的"感觉"，尽管确实会产生不错的"感觉"）。

你无法改进看不见的东西

循环中的可观测性有两个深度层级，团队经常混淆这两个层级。有查询-响应层的成功/失败率，还有基础设施层，它也可能在任意提示上成功或失败。

Weave会告诉你代理做了什么：追踪记录、工具调用、与评估的得分。Mission Control会告诉你基础设施做了什么：实时展示GPU、网络和存储行为，精确到单个GPU拖慢分布式作业的滞后检测，在你注意到之前就替换不健康的节点。以这种方式运行的集群可实现高达96%的吞吐量，这很重要，因为更快、更健康的模型循环正是整个目标。

当凌晨3点发生故障时，第一个问题永远是：是哪一层出了问题？当两个层级都在同一平台时，你就无需猜测了。

AI循环迎来编排器

AI循环不会自动运行。总需要有人查看运行结果、形成假设、启动实验并判断结果，而历史上这个角色一直由你最昂贵的研究员承担，做着他们最不喜欢的工作。

CoreWeave ARIA，我们的AI研究与迭代代理，正是这个协调者。目前在公开预览版中，ARIA能够分析Weights & Biases实验数据中的数千次运行和数万个指标，发现影响性能的模式，形成假设，启动实验，评估结果，并推荐下一步行动，而无需人工协调。ARIA也是一个致力于改进您的模型和代理的代理。我们使用Weave构建它，基于员工广泛使用产生的详细数据作为基准，通过相同的循环，ARIA在此基础上持续改进。

今天，我们已经为客户提供全面的连接点，我们始终致力于消除更多障碍，让您专注于业务成果，而不是浪费时间处理停滞、崩溃和晦涩的错误信息。

无法重放的AI循环只是轶事

没有凭证，这一切都无法成立。在每一步中，注册表和血统追踪都会记录下发生了什么变化：每个模型、提示、数据集、评估和防护措施。这些记录使您能够追溯回归的根本原因，复现成功案例，并以确凿的证据而非传闻重现已知的循环。这在平台上是静默但最强大的功能之一。

复利效应才是关键

您进入AI循环的起点取决于您构建的内容。对于模型，大部分改进发生在发布之前，因此深层循环占主导地位。对于代理，大多数学习来自生产环境，因此它们专注于优化提示和工具。每个人都应该在代理循环中持续运转。技术严谨的人也会闭合模型循环。CoreWeave和Weights & Biases正在Essential Cloud for AI上构建这两个领域的单一基础。

从您今天能看到最大收益的地方开始：

• 在Serverless Inference上部署：按token计费的服务，无需搭建集群

• 在Weave中追踪代理：追踪每次调用，评分每次输出

• 查看Mission Control：实时查看GPU、网络和存储行为

• 在预览版中尝试ARIA：将代理置于循环的研究侧

• 扩展部署可靠代理：学习如何通过强化学习使代理可靠

AI循环是您的模型持续改进的方式。了解ARIA、Mission Control和Weights & Biases如何协同工作，持续提升您的模型和代理。

分享本文： /think