MLPerf Training Introduces Its First LLM Post-Training Benchmark

MLCommons

MLCommons2026年9月24日

MLPerf Training Introduces Its First LLM Post-Training Benchmark

7.1内容质量

TL;DR · AI 摘要

MLPerf Training v6.1: First LLM Post-Training Benchmark MLPerf Training Introduces Its First LLM Post-Training Benchmark...

核心要点

主题聚焦：MLPerf Training Introduces Its First LLM Post-Tr
来源：MLCommons，建议结合原文判断细节。
AI 分析暂不可用，本条为保底评分与摘要。

#AI#编程#后端#安全#产品

打开原文

MLPerf Training v6.1：首个大语言模型后训练基准

MLPerf Training 推出首个大语言模型后训练基准

MLPerf Training v6.1新增了智能体强化学习工作负载，用于衡量系统训练3970亿参数语言模型修复真实软件项目的速度。

2026年9月24日

MLPerf Training 从2026年10月的v6.1提交轮次开始新增LLM后训练基准测试，与现有的预训练基准测试套件形成互补。虽然预训练通过大规模数据摄入构建基础智能，但后训练作为补充流程，能进一步优化基础模型以在特定任务上表现优异。自2025年下半年以来，LLM训练的重大进展主要来自后训练扩展。两个典型案例是：小型模型开始接近前沿性能（Qwen 3.8 27B），或在使用相同基础模型时实现生成式改进（“GLM-5.3的所有进步都来自后训练扩展”）。

MLPerf推理工作组联合推出了可在1024 GB300小时内完成真实世界LLM后训练工作负载的MLPerf Training基准测试。真实世界的后训练结合了蒸馏、强化学习和监督微调等技术，涵盖数学、推理和智能体任务等多个领域。在调研后训练领域后，我们选择了可验证奖励强化学习（RLVR）方法，因其特别适合软件任务。基于LLM的编码智能体在沙盒环境中解决智能体软件工程（SWE）任务，每次任务尝试称为一次rollout。对于每个问题，系统会采样多个rollout并分配通过/失败的二元奖励。生成的轨迹随后用于组相对策略优化（GRPO），该方法在组内比较奖励并更新模型，使高奖励解决方案更有可能出现。更新后的模型权重将用于下一轮rollout。

开发该基准测试需要MLPerf Training迄今为止最复杂的系统级集成。需要部署三个不同组件：训练、推理和智能体环境。运行时，数百个并发rollout争夺CPU时间、GPU时间、内存和存储资源，必须在它们之间平衡资源。前沿训练技术对数值计算也特别敏感。

模型选择

本基准测试选用的模型是2026年2月发布的Qwen 3.5家族中最大的Qwen 3.5 397B模型。该模型以Apache 2.0许可证提供开放权重。Qwen 3.5是包含3970亿总参数的专家混合（MoE）模型，每个token激活170亿个活跃参数。Qwen 3.5是首个实现门控DeltaNet（GDN）与稀疏MoE层混合架构产品化的模型家族。每个MoE层激活1个共享专家和512个路由专家中的10个（2%）。GDN是标准注意力机制的时间和空间高效替代方案，表现出强大的上下文学习能力。特别是GDN用固定大小的压缩状态替代线性增长的KV缓存，概念上学习过去的关联关系而非显式存储，固定大小对长上下文尤其有价值。MoE和GDN均反映了当前模型架构的趋势。

MLPerf训练基准通过将训练时间测量到预设的准确度指标作为评分标准。该指标确保基准不只是单纯的吞吐量衡量，而是衡量一个模拟真实训练场景的客观目标。更通俗地说，基准要求答案既正确又快速。仅衡量吞吐量的基准可能会误导优化方向，鼓励那些损害最终模型质量的性能优化，从而无法帮助实际训练。例如，降低精度的数值格式可以提高吞吐量，但可能无法提供足够的数值稳定性来达到目标准确度。更微妙的例子是增加异步场景中的策略滞后，这可能会提高某个系统的吞吐量，但会降低模型质量。因此，AI基准需要在吞吐量之外同时考虑训练模型的质量。MLPerf基准使提交者能够在保持模型质量的同时优化系统性能。

将这一理念应用于微调后阶段颇具挑战性。目前大多数公开可用的微调数据集都已训练了大量参数的开放权重模型。因此，开发一个能在有限训练时间内提高公共数据集准确度的基准非常困难。Qwen3.5-397B-A17B发布的权重包含微调内容，使该模型能够胜任大多数智能体任务。因此，该基准旨在针对SWE任务略微提升模型性能。

我们感谢Qwen团队将该模型提供给社区。此外，我们欢迎并鼓励社区其他成员在训练的不同阶段发布开放权重模型，以支持公共基准测试工作。

数据集选择

该基准使用Apache 2.0许可的R2E-Gym数据集，其中包含SWE问题。这是规模较大的程序生成可执行环境数据集之一，来源于Python软件项目的GitHub提交记录：Aiohttp、Datalad、NumPy、Pandas、Pyramid、Pillow、Sympy和Tornado。智能体被给予一个包含Git仓库的Linux容器环境，所有依赖项均已预安装，提示信息中包含问题描述。任务是提出一个能够解决问题的补丁。

在寻找基准稳定运行模式时，我们对智能体回合数上限和最大上下文长度进行了限制。为满足这些限制，我们根据难度代理指标（如“黄金”解决方案中修改的代码行数和文件数，以及微调后模型解决任务的能力）选择了R2E-Gym数据集的子集。最终结果是一个包含700个训练问题和251个非重叠验证问题的数据集。

针对微调后阶段，数据集包含提示信息和容器镜像，以Apptainer SIF格式发布在MLCommons存储中。我们在准备数据集时面临有趣的挑战：原始R2E-Gym容器镜像在2025年初为x86_64架构构建。2026年为Aarch64架构重新构建时，镜像的工作方式略有不同，主要是由于依赖项漂移、软件包更新和架构相关软件包的影响。因此，部分问题无法解决。我们对数据集进行了审计，尽可能修复这些问题，或从数据集中移除无法解决的问题，以确保所有环境在不同架构上表现一致且可解决。

我们衷心感谢 R2E-Gym 的作者将该数据集分享给社区。

环境

模型通过接口与沙盒环境进行交互。对于给定的上下文长度和回合限制，接口的选择决定了模型使用这些预算的效率。我们发现接口选择对求解率有显著影响，这直接影响训练性能，因为 RLVR 使用稀疏二进制奖励。基于数据集上的表现，我们在训练和验证阶段均选择了 OpenHands 接口。在强化学习训练过程中，模型有时会找到无需解决底层任务即可获得奖励的途径，例如通过移除失败测试而非修复导致测试失败的错误。这种现象称为“奖励黑客行为”，会使模型学习到在训练中表现良好但无法泛化的解决方案。为防止奖励黑客行为，代理评估使用的是代理在执行过程中无法查看或修改的测试文件。

为模拟扩展的多回合智能体工作，任务组设定了最大上下文长度为 65536、最大代理回合数为 30、每提示生成 16 次。我们选择这些约束条件是为了在训练性能与训练时长之间取得平衡。更大的上下文需要更多资源并能提升模型性能，但会使质量改进更难实现。相反，更小的上下文可能阻碍模型解决问题，从而影响奖励并阻止 GRPO 找到训练信号。训练目标最好描述为：优化模型在有限上下文/回合预算下高效运行的能力。

模型以指令跟随模式配置且推理模式关闭，但通过 OpenHands 接口可访问“思考”工具。具有长上下文的多回合智能体展开会导致生成端点的 KV 缓存管理系统承受巨大压力。必须在保持 KV 缓存在 GPU 内存中跨回合复用与对已处理上下文重新运行预填充之间取得平衡。提交者需要找到这种平衡。

实现细节

基准的参考实现基于 NVIDIA NeMo-RL，将工作节点池划分为策略训练和轨迹生成工作节点。智能体沙盒在相同 GPU 节点上执行。Ray 协调分布式组件：

Megatron Bridge 和 Megatron Core 训练策略。

vLLM 生成轨迹并在每次训练步骤后接收更新后的策略权重。

NeMo Gym 在每任务 Apptainer 容器中运行多回合软件工程 OpenHands 智能体。

参考实现使用异步训练，这对实现强化学习的高性能至关重要。在异步 RL 中，训练和生成可以重叠，导致生成时使用过时（离线策略）模型权重。用于训练的轨迹最大过时程度（或年龄）为 1 个权重版本；提交者可以自由使用不同数值。

参考实现的解耦设计突显了异步强化学习的核心挑战：要实现最佳性能，训练和推理必须进行速率匹配并协同优化。仅优化流水线中某一部分只会将瓶颈转移到其他位置。

评估方法

在评估模型性能时，我们发现即使使用确定性采样（temperature=0.0），解决率仍存在显著波动。模型可能在一次尝试中成功解决任务，但在下一次尝试中却失败。由于工具调用、时序和批处理效应的影响，多轮代理轨迹永远无法确定性地复现。实现更稳定的评估分数的一种方法是采用pass@k指标。

在pass@k评估中，每个问题会被评估k次，我们测量的是在k次尝试中至少成功解决一次的问题数量。对于该基准测试，我们确定使用pass@4作为验证指标，这使验证过程包含1004次轨迹。在参考收敛点研究过程中确定的基准目标是达到pass@4分数0.69——即在4次尝试中至少解决69%的验证问题。验证过程的令牌采样使用temperature=0.1和top_p=0.95。下图展示了我们评估的指标分布：pass@4、pass@1的4次尝试平均值以及pass^4（所有4次尝试必须通过）。pass@4显示出最低的方差系数。

管理方差和评估成本

代理强化学习相比预训练显著更不具有确定性。训练数据不是静态的，内置的反馈回路会更新未来轨迹使用的权重，这些权重又会影响未来的训练步骤。在轨迹层面，微小的数值差异会导致采样令牌的变化；这些差异会改变工具调用和中间输出。这些影响在多轮交互中会不断累积。其他非确定性来源包括请求路由、不同的训练/生成后端、MoE路由的数值敏感性、执行内核的非确定性以及离线策略训练。这种变异性是围绕探索构建的学习过程中的预期现象，但它使需要可重复质量目标的基准测试变得复杂。

评估过程同样成本高昂。与仅向前传播的验证过程不同，每次评估都会启动完整的软件工程代理，生成令牌、使用工具并执行测试。在参考设置中，一次验证需要1004条轨迹，可能消耗数个训练步骤。

该基准通过三种方式应对这些限制。首先，分组pass@4使质量指标更稳定。我们还根据难度感知排序固定了训练数据集的遍历顺序，以减少变异性。最后，基准规则将首次完整评估延迟到模型预计接近目标时进行。参考设置中合格的全局批量大小256、512和1024分别在4608、5120和7168个训练样本时开始验证，之后在每个后续步骤后进行评估。这些评估起始点遵循在参考收敛行为研究期间确定的经验缩放定律：GBS * ceil(2.5 + 3840 / GBS)。该计划旨在确保所有运行在首次评估时都能收敛到目标。

This MLPerf Training benchmark reports the wall-clock time required to reach the fixed pass@4 quality target. The reference convergence point study includes global batch sizes of 256, 512, and 1024, with batch-dependent learning rates, gradient norm clipping, and first-validation steps. The study was performed on GB300 NVL72 racks, using 64 compute nodes with 4 Blackwell Ultra GPUs each (256 GPUs total) and BF16 for both training and generation, and required between 140 and 160 minutes per run, a baseline submitters are expected to improve on. These settings define the qualified reference points; submitters may select other global batch sizes and remain responsible for following the MLPerf Training rules that govern legal configurations, optimizations, and alternative implementations.

What This Benchmark Adds

The LLM post-training benchmark brings several previously separate systems concerns into one measured workload: very large mixture-of-experts policy training, high-throughput inference, frequent policy-weight transfers, asynchronous trajectory collection, and long multi-turn trajectories with heavy KV cache load.

That combination creates new optimization opportunities and challenges. Submitters can improve computation, communication, scheduling, rollout throughput, environment execution, and the balance between training and generation resources, but must maintain numerical stability and avoid training collapse. Because the benchmark measures the complete time-to-quality path, improvements must accelerate the system without sacrificing the agent’s ability to solve unseen tasks.

Conclusion

MLPerf Training’s LLM post-training benchmark reflects a major shift in how leading large language models gain useful capabilities. The workload does not stop at predicting the next token or adapting on a static dataset, but requires the model to learn how to take the right actions on real software-engineering tasks.

By establishing a common model, task, dataset, quality target, and evaluation procedure, MLCommons gives the industry a practical way to measure progress in agentic reinforcement-learning systems. The benchmark will help expose where time and resources are spent—and encourage advances across the full post-training pipeline.

The benchmark specification and reference implementation are available on GitHub .

We would like to thank the entire MLPerf Training Reasoning Task Force for coming together and shaping this benchmark.

About MLCommons

MLCommons is the world’s leader in AI benchmarking. An open engineering consortium supported by over 125 members and affiliates, MLCommons has a proven record of bringing together academia, industry, and civil society to measure and improve AI. MLCommons began with the MLPerf benchmarks in 2018, which quickly grew into a set of industry metrics for measuring machine learning performance and promoting transparency in machine learning techniques. Since then, MLCommons has continued to use collective engineering to build the benchmarks and metrics required for better AI – ultimately helping to evaluate and improve the accuracy, safety, speed, and efficiency of AI technologies.

For additional information on MLCommons and details on becoming a member, please visit MLCommons.org or email [email protected] .