Closing the Loop Between Inference and Post-Training

闭合推理与训练后的闭环 | CoreWeave 博客

发布于

2026年10月5日

7

分钟阅读

闭合推理与训练后的闭环

你部署模型的那天，模型的改进就停止了。CoreWeave 模型蒸馏、可编程训练 API 和 CoreWeave 强化学习展开，将生产信号反馈到模型的下一个版本中。

作者

Urvashi Chowdhary

已复制

部署当天训练后阶段即已开始

过去，部署模型标志着开发周期的结束：训练它、评估它、部署它，然后继续下一个项目。但生产级 AI 的运作方式不同。一旦模型开始处理真实流量，你就能看到基准测试和预部署评估无法完全展示的内容：模型在哪些方面失败、哪些边缘情况至关重要，以及用户真正需要什么。

这些生产信号可以同时提升模型质量和经济效益。它可能表明较小的模型可以复现较昂贵模型的行为，额外的监督会有所帮助，或者强化学习是更优选择。如果模型已经具备应用所需的能力，针对工作负载进行优化可能比将每次新模型生成视为另一次迁移更高效。

难点在于闭合这个循环。生产追踪必须转化为可用的训练数据。训练后阶段需要计算资源和编排能力。最终的模型需要经过评估并重新投入服务。在强化学习中，推理本身成为训练的一部分：当前策略生成展开数据，训练产生新权重，这些权重在整个运行过程中必须重新部署到服务中。

在 Fully Connected 2026 上，我们推出了三项能力，分别对应这个生命周期的不同环节：CoreWeave 模型蒸馏、基于 CoreWeave 推理的 CoreWeave 强化学习展开，以及可编程训练 API（目前处于预览阶段，计划今年晚些时候正式发布）。这些工作流在 CoreWeave Forge 中整合，为团队提供从模型在生产中的表现直接过渡到下一步改进的更直接路径。

从失败模式出发，而非工具

在选择训练后技术之前，首先要确定模型本身是否需要改变。检索失败、上下文缺失、提示问题、工具故障和部署行为都可能表现为模型质量的问题。如果系统其他部分存在故障，改变权重无法解决问题。

当模型确实需要改变时，信号应决定采用的技术。

• 当更强的模型已经产生所需行为且希望在更小或更经济的模型中复现时，模型蒸馏适用。

• 当可以提供高质量示例且需要特定任务更一致的行为时，监督微调（SFT）适用。

• 当可以可靠评估结果但无法提前明确指定理想响应时，强化学习（RL）有用。

团队在模型生命周期中可能会使用上述多种方法；关键在于选择应基于工作负载的证据，而非平台恰好使某种技术更容易。

通过 CoreWeave 模型蒸馏将生产信号转化为更优模型

CoreWeave 模型蒸馏是实现这一循环的托管路径。推理流量可以通过 CoreWeave Agent Lens 捕获，并在应用程序运行时转换为训练数据。从那里，工作流程可以通过重新标注改进弱输出，测试不同的基础模型和超参数，将候选模型部署到无服务器推理中，并与当前在生产环境中运行的模型进行对比。

这个循环的经济性在这里变得具体可感。下一次改进并不总是需要将工作负载转移到更新或更大的模型上。如果较小的模型已经具备了正确的底层能力，新鲜的生产数据可以使它更适合任务，同时保持已经理解的服务性能配置。

Method 是这一生命周期的实际案例。2024 年，他们使用早期的 OpenPipe 产品，训练了一个 Llama 3.1 8B 模型，通过 GPT-4o 输出来导航银行 IVR 系统。2026 年 8 月，他们用新鲜的生产数据重新审视了相同的工作负载，使用 GPT-5.6 Sol 进行重新标注，并再次对模型进行迭代。最终的模型在与生产环境中运行的版本进行一对一评估时，赢得了 57.5% 的胜率。

基础模型没有改变。生产信号发生了变化，而 Forge 中新的模型蒸馏功能使迭代速度更快。

编写训练循环，跳过底层基础设施

一些团队希望对模型的学习方式有更多控制权。他们希望尝试不同的训练方法，以新的方式将它们结合在一起，并在不管理运行实验所需基础设施的情况下调整方案。

现在处于有限预览阶段的无服务器训练可编程训练 API 为您提供了这种控制能力。您用 Python 编写训练循环，CoreWeave 负责处理其底层的计算和训练基础设施。

例如，您可以使用强化学习帮助代理更好地完成任务，然后混合使用经过验证的演示的监督学习来强化良好行为：

learner =
await
training.create_learner(model=model, lora=lora)
sampler =
await
serving.create_adapter(name=
"sampler"
)
optimizer = AdamConfig(learning_rate=
1e-5
)
for
step
in
range
(num_steps):
trajectories =
await
run_agent(sampler, tasks)
update = learner.batch()
update.forward_backward(
build_rl_batch(trajectories), loss=
"importance_sampling"
)
update.optim_step(optimizer=optimizer)
if
(step +
1
) % sft_interval ==
0
:
update.forward_backward(next_demo_batch(), loss=
"cross_entropy"
)
update.optim_step(optimizer=optimizer)
update.publish_weights(to=sampler)
await
update.result()
await
(
await
learner.save_state(
"final"
)).result()
await
learner.close()

Rollout 和批量准备助手是说明性的；它们包含您的代理逻辑、奖励计算和数据准备。

您控制演示混合的频率、如何奖励成功尝试以及如何让方案演进。SFT、RL 和蒸馏都基于相同的训练原语，为您提供实验空间，而无需操作底层分布式系统。

Willow 提供了可编程训练 API 的实际案例。该团队从监督学习开始，然后构建了强化学习的评分器以进一步改进模型。这些评分器针对特定行为进行优化，减少填充词，使输出更易读，删除自我纠正的短语，并结合成一个奖励函数来指导训练。

我非常震惊。这个模型对文本样式有着更深入的理解。你们的成果相比我们当前部署的版本有巨大提升。表情符号能正常显示，对指令的响应非常精准，你们真是太棒了。

Lawrence Liu，Willow 公司首席技术官兼联合创始人

生成瓶颈是推理

在强化学习（RL）中，推理是训练循环的一部分。这与生产服务相比带来了不同的约束条件：生成足够的扩展数据、保持服务与训练策略的一致性，以及快速将新权重重新加载到服务层以保持训练进度。

CoreWeave 推理现在支持基于 NVIDIA Dynamo 并兼容 vLLM 的 RL 扩展。你的训练器、奖励逻辑和环境无需迁移位置。当训练器生成新检查点时，可以热加载这些权重到正在运行的部署中，而不会影响正在进行的请求和端点可用性，使扩展生成能够继续基于你希望采样的策略进行。

服务层专为 RL 设计，返回训练级元数据——logprobs、token ID、MoE 专家路由，而不是在通用推理上附加这些功能。检查点支持完整快照或增量增量加载，首次上传后显著减少同步时间。每次扩展都使用当前策略权重，因此部署始终与训练器最新发布的策略保持一致，消除滞后性和因重新部署导致的训练停滞。

CoreWeave 与 NVIDIA 和 you.com 合作，在真实工作负载上验证了 RL 扩展：训练后 NVIDIA Nemotron 3.5 Lightning 用于网络搜索。通过将 you.com 的搜索工具集成到训练循环中，团队运行 SFT + RL，使 BrowseComp 准确率提升了 22.94%（从基线 36.97% 提升至 45.45%），同时将平均工具调用次数减少了 30.24%，在质量和成本上都取得直接收益。在基础设施层面，将检查点热加载到实时部署中比传统重新部署周期快约 15 倍，释放出原本因等待基础设施更新而停滞的训练时间。该合作证明了当扩展服务、RL 基础设施和训练后搜索优化协同时的可能性：收益来自三个独立模块的协同——更优质的搜索工具、训练后优化和框架改进。

对于一支优化小型或高效模型以与大一个数量级模型竞争的团队来说，重新获得的训练时间与任何单一基准测试得分同样重要。

在 CoreWeave Forge 中整合训练循环

这里更大的转变不仅仅是让单个训练或推理任务更容易。它让模型改进本身成为生产系统的一部分。

CoreWeave Forge 就是这些工作流整合的地方。生产推理生成信号。蒸馏或训练后优化将这些信号转化为改进的模型。模型重新进入推理，开始为下一轮迭代生成证据。在强化学习中，这种联系更加紧密：推理已经通过扩展生成和权重更新嵌入训练循环中。

这些在Fully Connected 2026上宣布的三项能力支持生命周期中不同的工作方式。模型蒸馏提供了一条托管路径。可编程训练API让研究人员能够直接控制训练逻辑，而无需操作底层基础设施。CoreWeave RL Rollouts使团队能够在保留自有训练器的同时，使用CoreWeave处理循环中的推理环节。

通过无服务器训练生成的模型会以制品形式写回并打上标签，从而可以直接进入无服务器推理，无需单独的注册表交接。实验记录会与模型一同保存，保持运行、生成模型与最终生产环境服务之间的关联。

其结果是一个训练与推理不再作为独立运营孤岛的模型生命周期。生产环境发生的情况可以指导下一次训练运行，而训练产生的结果也可以直接返回到最初生成信号的服务环境。

CoreWeave的下一步

循环中的每个环节仍有更多内容需要深入探讨。在接下来的几周内，CoreWeave模型蒸馏、可编程训练API以及CoreWeave RL Rollouts的工程师将更深入地讲解每项功能的工作原理及其背后的设计决策。

与此同时，请阅读CoreWeave Forge博客和新闻稿，了解我们在Fully Connected 2026上发布的更完整故事，并继续关注我们对连接训练、训练后处理和推理的基础设施的深入解析。

CoreWeave RL Rollouts、CoreWeave模型蒸馏以及CoreWeave上的可编程训练API。三项新功能将训练后处理与推理重新连接。

分享这篇文章： /