Post-Training at the Frontier

RL 后训练 Nemotron 3.5 Lightning | CoreWeave 博客

发布于

2026年10月22日

7

分钟阅读

后训练前沿探索

CoreWeave、You.com 与 NVIDIA 如何通过 RL 扩展提升 Nemotron 的智能体搜索与浏览能力

作者

王静怡

埃迪·纳西夫

阿斯莎·琼朱努瓦拉

已复制

9月初，CoreWeave、NVIDIA 与 You.com 联合开展为期三周的专项攻坚，利用基于网络的真实数据、监督微调（SFT）、强化学习（RL）及托管 RL 扩展技术，对开源权重模型进行后训练，以提升其智能体网络搜索能力。最终训练流程在 BrowseComp 测试集上达到 45.45% 的准确率，相较原始基准模型 36.97% 的表现实现了 22.94% 的相对提升，且每任务工具调用次数减少了 31.55%。对于构建搜索智能体的团队而言，这意味着能以更少的工具调用次数正确回答更多问题。

对于实施 RL 后训练的团队而言，优质训练数据只是挑战的一部分。推理阶段需生成扩展轨迹，训练阶段需更新策略，而更新后的权重必须在下个训练周期开始前同步至服务副本。传统重新部署方式可能中断轨迹生成，导致加速器空转。CoreWeave RL 扩展方案结合 NVIDIA Dynamo 及相关服务技术，专为降低这种同步开销而设计。

本次技术深度解析将探讨 You.com 的数据与训练策略、CoreWeave 的托管 RL 扩展架构、NVIDIA 的模型与服务技术，以及三方协作取得的成果与实践经验。

RL 后训练的瓶颈：推理节奏

开源权重模型发展迅速，但基础模型本身并不足以应对实际需求。针对特定任务（搜索、推理、代码生成）进行后训练的团队面临一个关键约束：如何保持 RL 训练循环的持续高效运行。

典型 RL 训练循环包含以下环节：生成扩展轨迹 → 评估得分 → 更新策略 → 循环往复。在 RL 扩展阶段，效率往往成为后训练技术栈中的关键瓶颈。多数基础设施将这些环节视为独立问题，而 RL 基础设施则需将其视为统一整体。

三方团队分别解决了问题的不同方面：You.com 提供基于网络的真实搜索训练数据；NVIDIA 贡献 Nemotron 模型、后训练及服务技术；CoreWeave 提供连接各阶段的托管训练与扩展基础设施。

实施方案：基于网络的数据、难度筛选与 GRPO

You.com 从一个核心问题出发：开源数据集更新缓慢且过度依赖维基百科。真实世界的问题存在于真实网络中。因此他们直接从网络图谱中构建训练数据。

不同于开源基准测试，You.com 生成了基于真实网页客观事实的多轮问答对。他们从中间热度区间抽样（跳过垃圾信息密集的尾部和模板密集的头部），通过单跳链接从索引中提取页面内容。最终获得的训练数据包含真实网络中的答案，而非存档数据集中的内容。

随后进行难度筛选。You.com 通过自身搜索 API 将每个问题输入 Nemotron 3.5 Lightning 八次，利用 LLM 评估器对每次尝试进行打分。他们根据通过率将问题分为不同难度等级：过于简单（8/8）、简单、中等、困难、过于困难（0/8）。其假设非常直接：如果模型有时能解决问题，就具备训练价值；如果永远无法解决，则暂时不值得投入算力预算。

团队使用了通过 You.com Search 和 NeMo Automodel 生成的 4,932 条 SFT 追踪记录，随后使用基于组相对策略优化（GRPO）和二进制奖励信号训练的 1,480 个 RL 任务。原始文档报告称，在四台 NVIDIA HGX B200 GPU 上进行 SFT 需要约 1 小时，而 RL 训练运行需要约 8 小时。结果显示，基础设施使时间线成为可能，但数据策略让成果得以实现。

基础设施：RL 滚出与检查点同步

CoreWeave 和 NVIDIA 聚焦于训练循环的滚出阶段：减少将新策略部署到推理副本所需的时间。在传统的滚动重新部署中，每个副本会重启、从对象存储下载完整检查点，并在其他副本继续服务时等待引擎初始化。在此期间，重启的副本不可用，其未完成的请求可能会丢失。在训练运行中反复出现这些中断，累积起来会产生显著影响。

You.com 与 CoreWeave 之间的集体 RL 训练循环示意图

RL 滚出通过原地权重更新（我们称之为 Hot-Load）替代重启操作。训练器发布检查点并调用 Hot-Load API，同时早期滚出仍在运行。CoreWeave 的控制平面在副本之间协调更新并跟踪每个副本服务的检查点版本。

NVIDIA Dynamo、NVIDIA ModelExpress 和 vLLM 负责在每个副本内部处理更新。加载新权重前，副本会暂停服务但保留内存中的进行中请求和缓存。一旦权重加载到现有引擎中，服务即恢复，这些请求会继续使用新权重。暂停期间新请求会排队。与其他副本继续服务的情况类似，区别在于更新中的副本能更快恢复服务并保留其状态。

这使训练器能够将权重更新与滚出生成重叠，并允许请求跨越多个策略。对于严格基于策略的训练，训练器可以请求提示缓存重置，并在所有副本完成更新后发送下一批请求。

与完整权重同步相比，增量权重同步减少了训练器上传的数据量和副本加载权重所需的时间。训练器不是每次发布完整模型，而是基于基线检查点发布压缩的增量权重。

在我们的 Nemotron 3.5 Lightning 测试中，这些增量权重约占完整 BF16 检查点大小的 0.14%–0.95%。权重分布设计也避免了每个副本都从对象存储下载：一个副本在本地重建检查点，其他副本通过 CoreWeave 的 InfiniBand 网络或 NVIDIA NVLink 互连进行 GPU 到 GPU 的权重传输。在使用 Nemotron 3.5 Lightning 在 CoreWeave 的 NVIDIA GB300 NVL72 系统上进行的基准测试中，最快的增量 Hot-Load 速度大约是平均冷启动重新部署的 15 倍。

对于需要反复刷新推理权重的训练流程，更快的更新可以减少轮次之间的等待时间，让 GPU 在更多周期内执行有用工作。减少这种开销还能在固定开发预算内为实验腾出更多空间；影响程度取决于流程中用于加载权重的时间占比。

Rollout 响应还会返回训练所需的数据。训练人员可以请求令牌 ID 和每个令牌的对数概率，以及在支持的专家混合（MoE）部署中启用时的专家路由数据。对数概率使用标准的 OpenAI 兼容响应字段，而路由数据则通过 NVIDIA Dynamo 扩展提供。

结果：更少工具调用实现更高准确率

基础模型在使用基线工具时，BrowseComp 的准确率为 36.97%。平均每个任务需要进行 168 次工具调用，其中许多调用是无效的。三种失败模式占主导地位：死亡循环（反复搜索相同信息）、弱工具使用（未能从搜索结果中提取价值）和反复质疑（找到正确答案后产生怀疑，最终给出错误回答）。

通过 You.com Search 和组合优化工作流程，BrowseComp 准确率提升至 45.45%，相比原始基线的 36.97% 提高了 8.48%。每个任务的平均工具调用次数从约 168 次降至 115 次，减少了 31.55%。模型学会了更多推理、更策略性地搜索并信任其发现结果。

一个典型的 BrowseComp 追踪案例要求代理通过一系列关于 CEO 的线索识别汽车型号：收购年份、学位、配偶的 MBA、捐赠和 2019-2023 年的采访。在报告的比较中，基础模型进行了 313 次工具调用（149 次搜索、118 次网页抓取、46 次 bash 命令），消耗了 130 万个字符的无用搜索结果，却始终未能确定 CEO 身份。优化后的代理仅用 7 次工具调用就完成了任务：第二次调用即找到 CEO，随后又用五次调用验证每个线索。使用相同的搜索工具完成相同任务，只是模型学会了推理。

实施蓝图：复制该成果所需条件

这不是一次性的定制化工作。团队构建了一个可重复的模式。

从强大搜索开始。它为所有构建在其上的内容设定了上限。You.com 调整其搜索端点以实现训练后一致性，在训练前就将性能提升了约 4%。

从真实网络构建问题。网络图问答加上开放数据集，并针对评估进行去污染处理。虽然是一次性工作，但能带来长期收益。开放数据集会老化，而网络每天都在更新。

在训练前按难度筛选。使用生产搜索的 Pass@8 过滤，保留模型有时能解决的问题。跳过过于简单和过于困难的极端情况。仅此一项就可降低训练成本并提高收敛速度。

在自己的追踪数据上进行 SFT，然后进行 GRPO。使用二进制判断奖励；一个小而有针对性的数据集就足够。You.com 使用了 4,932 个 SFT 追踪和 1,480 个 RL 任务。CoreWeave 的基础设施在约 9 小时内完成了这些任务。

利用 Hot-Load API 高效同步权重。使用增量权重同步减少推理停顿，避免代价高昂的冷启动重新部署。

同时衡量准确率和效率。不只是准确率，还要考虑工具调用次数、消耗的令牌数、时间和成本。训练后的模型在所有指标上均有提升。

RL Rollouts 的下一步计划

工作不会就此停止。You.com 计划将训练数据扩展到约 10 万行，回收失败轨迹用于 SFT，并提取更多网络图问答数据。代理端将增加置信度门控预算和提前停止机制。强化学习将转向效率感知奖励——在早期 RL 迭代中使用更便宜的搜索，然后在推理优化阶段切换到更昂贵的搜索。

在基础设施方面，CoreWeave 与 NVIDIA 正在记录大规模运行 RL Rollouts 的部署模式和路线图。团队还正在将 You.com 搜索提供商集成到 NVIDIA NeMo Gym 中，使其他团队在构建智能体后训练工作负载时可以使用该集成。

与 You.com 和 NVIDIA 的合作

三家公司并行工作了三周，证明该模式可行。You.com 负责构建数据管道和搜索集成。CoreWeave 运行了强化学习训练器并部署了服务基础设施。NVIDIA 在 Dynamo 和 vLLM 中构建了检查点机制和训练元数据支持，并参与了监督微调工作。

产品与工程执行副总裁 Chen Goldberg 于 2026 年 9 月 30 日在 Fully Connected 2026 大会的主题演讲中分享了成果，这距离构建马拉松开始仅过去三周。这种时间线只有在基础设施就绪且团队对实现目标有明确承诺时才可能发生。

如果你正在运行自己的强化学习训练循环，蓝图现已开放。基础设施已经就位。这项工作具有可移植性——不仅适用于其他模型，还适用于其他强化学习训练节奏曾是瓶颈的问题领域。

想要开始使用 RL Rollouts？

• 查阅文档，包括推理手册，这是一个包含针对热加载部署的 RL 训练配方的开源仓库
• 注册关于后训练 Nemotron 的网络研讨会，由 NVIDIA 和 You.com 的专家主讲
• 观看 Fully Connected 2026 分论坛录像《前沿后训练：You.com、NVIDIA 和 CoreWeave 如何改进 Nemotron 的智能体搜索》
• 与我们联系

分享本文： /