Testing Mythos and Fable, Moving Beyond SWE-bench, Nvidia's Open Contender

测试 Mythos 和 Fable，超越 SWE-bench，Nvidia 的开源竞争者

kg-card-begin: html

加载

Elevenlabs 文字转语音

AudioNative 播放器...

kg-card-end: html

亲爱的朋友们，

在过去两周里，美国政府和 Anthropic 都采取了重大行动，展示了他们通过限制他人对前沿模型的使用来控制对 AI 访问的能力。这是一次令人难以忽视的时刻，它显著加快了许多企业和国家政府确保可靠 AI 访问的努力，确保没有人能够终止这种访问。

Anthropic 首先发布了 Claude Fable 5，这是其 Mythos 模型的一个版本，增加了额外的安全防护措施，其中包括一些基于安全理由的限制（例如限制其在黑客攻击、生物武器等领域的应用）。然而，它也限制了开发者使用该模型构建竞争性大语言模型（LLM）技术的能力。这一举措令人担忧，因为整个 AI 社区，包括 Anthropic 本身，都从开放研究中获益良多——事实上，AI 革命正是由我的前团队（Google Brain）自由发布 Transformers 论文所引发的！

试想一下，如果微软的使用条款禁止任何人使用其工具来构建竞争性软件，或者如果谷歌禁止使用其工具来搜索信息以开发竞争性搜索引擎，会是怎样的情景？Anthropic 声称其他人无法在 AI 领域取得进展是不安全的，这一说法听起来也显得空洞。最初，Anthropic 通过隐形干预，对被检测到从事 LLM 研究的用户悄悄降低 Fable 5 的性能，削弱模型的输出效果，且未通知用户。在受到强烈反对后，Anthropic 改变了这一决定，并决定在进行此类操作时保持透明，但它仍然拒绝使用其最新功能来帮助 AI 研究人员。

这一举动代表了 Anthropic 对权力的直接展示。它利用“安全”作为理由来阻碍潜在竞争者。平台的成功在于被视为稳定、可靠的合作伙伴，人们可以在其基础上构建。Anthropic 突然的规则变更（包括对 Fable 使用强制实施 30 天的数据保留政策）让开发者开始质疑依靠任何单一专有 LLM 提供商构建的稳定性，而不仅仅是 Anthropic。

随后，美国政府也采取了更为强大的权力展示。它利用商务部的权力，对可能构成国家安全威胁的技术进行监管，限制了 Mythos 和 Fable 的出口，要求任何外国国民（无论是否在美国境内，包括 Anthropic 的员工）使用这些模型都需要获得许可。这导致 Anthropic 全球范围内禁用了 Fable 的访问权限。

Sam Altman 提到，谈到 Anthropic 时指出：“显然，声称‘我们制造了一颗炸弹，我们正准备把它扔到你头上。我们以一亿美元的价格向你出售一个炸弹掩体’是一种令人难以置信的营销手段。”但当你进行这种基于恐惧的营销时，会增加美国政府认同你观点的可能性，并对你声称制造的炸弹实施出口管制。

明确地说，我认为 Anthropic 并没有制造出任何类似炸弹的东西，我认为对 Fable 实施出口管制是不恰当的。

然而，随着美国政府采取这一行动，许多国家，包括美国的盟友，都看到了美国如何突然切断其他国家对AI模型的访问权限。在世界各地的许多首都，这引发了关于AI主权的讨论，以及如何确保其他国家能够持续访问这一关键技术。

几十年来，许多国家都习惯于让供应链的许多部分依赖于美国、中国和其他主要生产国。一旦一个国家发出威胁或采取行动，限制其他国家的访问权限，其他国家将理性地尝试寻找替代方案。几十年来，中国的半导体制造进展缓慢；但一旦美国采取行动限制中国获取相关资源，中国的努力便迅速加快。同样，一旦中国威胁到美国获取稀土矿产的渠道，美国寻找替代方案的努力也加速了。现在，很明显，美国的私营公司和美国政府可以在短时间内限制其他国家获取前沿AI模型的访问权限，这使得其他国家更加有动力投资于开源等替代方案。当然，训练前沿模型并不容易，因此他们能否成功还有待观察，但我们已经过了临界点。

萨提亚·纳德拉写了一篇关于在前沿AI技术之上构建健康生态系统重要性的文章。我完全同意他的观点，并希望本周的事件最终能够成为朝着这一目标迈出的建设性步骤。

我希望我们能够建立一个更加自由、更加开放的世界，在这个世界中，研究可以自由共享，法律和社会规范塑造一个公平的竞争环境，让每个人都能取得进步。过去两周事件的一个积极方面是，现在每个人都更加清楚地认识到当前系统中的关键不稳定性，我们可以共同努力，创造一个更加稳固的基础。

继续努力！

安德鲁

来自 DEEPEARNING.AI 的信息

学习如何通过三种实用方法为你的AI代理和应用添加语音：在应用程序中嵌入语音、将其叠加到现有代理上，或者为你的代理提供一个工具，用于拨打电话。免费注册

新闻

Claude 的基准问题

在Anthropic将其最新版本的Claude模型从流通中撤下之前，即使是专业的测试人员也难以立即判断他们所使用的是Mythos级别的模型，还是在相同名称下较低版本的模型。

最新动态：多个独立组织报告称，他们无法对Anthropic的Claude Mythos 5的公开可用版本Claude Fable 5进行全面评估。在所有情况下，该模型拒绝了一些测试提示，或将其路由到能力较低的Claude Opus 4.8。一些评估者由于Anthropic的新数据保留政策，选择不使用专有提示。

Claude Fable 5的工作方式：Anthropic的分类器在提示到达Claude Fable 5之前对其进行筛选。被标记的提示要么由一个较弱的模型来回答，要么直接被拒绝。要使用Claude Fable 5，所有用户都必须接受Anthropic保留提示和输出30天。

• 分类器筛选了有关网络安全、生物学和化学，或AI模型工程的问题。被标记的提示从未到达Claude Fable 5。

• 在 Anthropic 自己的应用中，包括某些评估中使用的 Claude Code harness，被标记的提示会自动路由到 Claude Opus 4.8，由 Claude Fable 5 代为回答。但 Claude Code 在单独的日志事件中记录了切换，而不是在回答文本中。如果评估人员希望区分 Claude Opus 4.8 和 Claude Fable 5 的回答，他们必须搜索日志并筛选出 Claude Opus 4.8 回答的任务。

• 通过 API（这是大多数评估人员使用模型的方式），相同的标记会直接导致拒绝回答。在这种情况下，评估人员可以启用回退机制，尝试在 Claude Opus 4.8 上重新提交提示，或者将任务标记为失败。

评估人员对模型的评分方式：每位评估人员可以选择对 Claude Fable 5 进行“纯粹”评估，以尝试衡量其能力而不受 Claude Opus 4.8 的影响，或者进行“实际”评估，包括拒绝和回退。Claude Mythos 5 未公开发布，因此无法独立评估。

• 在 Claude Fable 5 发布前对其进行评估的 Artificial Analysis 记录到，该模型在 Intelligence Index（由 10 项经济上有用任务的测试组成）中，大约 8% 的任务会回退到 Claude Opus 4.8。这些回退大部分是对科学问题的回应。Artificial Analysis 将所有回退回答纳入其评估中，得出混合评分。

• Vals AI 对公共和专有的经济上有用的 AI 任务基准进行测试，发布了两组 Claude Fable 5 的评分，一组包括 Claude Opus 4.8 的回退回答，另一组将每一次拒绝都视为失败。Vals AI 还报告称，Claude Fable 5 在生物学和网络安全问题上的拒绝率接近 100%。

• 在 Agents’ Last Exam 上，这是一场测试长期代理任务且有可验证结果的考试，评估人员报告称，Claude Fable 5 拒绝了大约 35% 的任务。该模型将科学问题标记为“网络安全或生物学”，并在任务进行中切换到 Claude Opus 4.8，将任务记录在单独的日志事件中，而不是在回答中。评估人员在“未接触”任务（所有答案仅由 Claude Fable 5 生成）和“复合”任务（Claude Opus 4.8 提供部分或全部回答）上，将 Claude Fable 5 的表现与其他模型进行了比较。

• 运行 ARC-AGI 抽象推理测试的 ARC Prize Foundation 拒绝进行其验证评估，以避免将其私有测试集暴露在保留要求下，并表示如果可以在不提供问题的情况下进行测试，将发布这些结果。

结果：Claude Fable 5 在未使用回退回答回答问题时排名最高。当 Claude Opus 4.8 代为回答被拒绝的提示时，Claude Fable 5 仍然位居或接近榜首。当拒绝被计为失败或两个模型被分别评估时，其排名显著下降。

• 在 Artificial Analysis 的 Intelligence Index 上，Claude Fable 5（包括 Claude Opus 4.8 的回退回答）以 64.9 分排名第一，比 Claude Opus 4.8 高出 3.5%。尽管在 Humanity’s Last Exam 上拒绝了 9% 的测试问题，Claude Fable 5 仍以 53% 的得分完成测试，这是迄今为止记录的最高得分，比 Claude Opus 4.8 高出 7% 以上。

• 在 Vals AI 的测试套件中，测试时启用了 Anthropic 的可选回退功能，使得 Claude Fable 5 的拒绝回答会重新尝试由 Claude Opus 4.8 处理。在大多数基准测试中，Claude Fable 5 表现最佳，包括在总体 Vals 指数中达到 75.14%。如果仅将这些拒绝回答视为失败，其总体得分下降至 74.92%，但其在被标记领域中的得分大幅下降。例如，在 GPQA Diamond（研究生水平的科学问题）中，Claude Fable 5 的准确率从 93.18%（第二名）下降至 55.56%（第 94 名）。

• 在 Agents’ Last Exam 中，Claude Code/Claude Fable 5 自己回答的任务通过率为 22.8%，接近 Codex/GPT-5.5（23.8%），并且远高于 Claude Code/Claude Opus 4.8（15.8%）。在 Claude Fable 5 的安全机制将响应转交给 Claude Opus 4.8 的任务中，通过率降至 17.6%。Claude Fable 5 的综合通过率为 22.0%，落后于 GPT-5.5 的 24.0%。

为什么重要：Anthropic 所描述的安全措施使得直接衡量 Claude Fable 5 的能力变得不可能。即使绕过这些安全机制进行测量，也无法回答这个问题。在没有分类器的情况下获得的分数描述的是公众无法访问的 Claude Fable 5 的版本。而任何在启用分类器的情况下获得的分数都只是一个动态目标，因为 Anthropic 可以随时重新调整这些分类器。

我们的思考：通常，基准测试会问一个模型有多强大。但 Anthropic 的 Claude Fable 5 强迫我们提出一个更实质的问题：用户实际能获得多少能力？评估者现在必须捕捉这个差距，不仅要报告模型的最高得分，还要说明开发者在实际中可以依赖什么。（轶事上，Fable 是一个出色的编码模型，我们期待其访问权限恢复，或其它提供商推出类似能力的模型。）

超越漏洞查找的智能体测试

SWE-bench 是一个专注于衡量大语言模型修复软件漏洞能力的基准测试系列，现在正被新的测试所取代，这些测试以更具挑战性的方式评估智能体在软件工程方面的表现。

新变化：三个最近发布的基准测试可能是 SWE-bench 系列（包括 SWE-bench、SWE-Bench Pro、SWE-bench Multilingual 和 SWE-bench Verified）的有力替代者。

• DeepSWE，通过提出更难诊断的问题并需要更多代码来解决，衡量智能体的功能实现能力。

• ProgramBench 测量智能体从作为提示输入的创意中开发新程序的能力。

• ITBench-AA 扩展了对智能体在现代硬件堆栈中诊断问题能力的测试。

DeepSWE：由 Datacurve 开发，DeepSWE 在意图上最接近 SWE-bench，而 SWE-bench 自从大语言模型开始频繁在其中表现优异以来，已经被多次分叉。DeepSWE 提供了由人类专家审核过的示例，并通过从私有代码库中提取示例，最大程度降低了其污染训练数据集的风险。它包含 5 种语言中的 113 个问题。独立基准公司 Artificial Analysis 最近在其 Intelligence and Coding Agent 指数中，将 SWE-Bench Pro 替换为 DeepSWE。

• 给出一个简短的提示（与 SWE-Bench Pro 中的详细提示形成对比，SWE-Bench Pro 是 SWE-bench 的一个修订版本），智能体工具 mini-swe-agent 必须使用大语言模型从多个可行方案中设计出一个解决方案。这些解决方案所需的代码行数大约是 SWE-Bench Pro 的 5.5 倍。

• 与 SWE-bench 不同，DeepSWE 使用由人类编写的任务和测试来验证潜在的解决方案。这些问题基于真实的代码库，但并非来自现有或已解决的代码。例如，一个任务是“在 ABS 编程语言的 GitHub 仓库中，扩展索引范围，使数组和字符串支持第三个切片组件：value[start:end:step]”。

• 目前，GPT-5.5 设置为 xhigh 推理模式的模型在 DeepSWE 中表现最佳，解决了 70% 的问题。排名第二的是 Claude Opus 4.8，解决了 58% 的问题。Gemini 3 Flash 解决了 5% 的问题，这三个领先模型之间的差距达到 65 分。

ProgramBench：由 Meta、斯坦福大学和哈佛大学的研究人员开发，ProgramBench 测试 SWE-agent 控制的模型在没有人工监督的情况下，将 200 个想法转化为功能性程序的能力。该代理可以访问一个可以执行现有程序的控制台，必须通过生成程序的输入和输出来重现程序。

• 作者使用一个代理（mini-SWE-agent 或 SWE-agent）和 Claude Sonnet 4.5 来构建基准，具体步骤包括：(i) 识别一个候选代码库，(ii) 构建一个可执行的程序，(iii) 生成测试用例以展示程序在处理各种输入时的表现，以及 (iv) 构建测试环境，包括编译后的可执行程序、如何使用该可执行程序的文档，以及模型可能无法生成的测试资源，如图像。

• 要复制的程序难度范围从简单到复杂不等。例如，一个名为 entr 的程序在文件更改时运行一个命令。另一个更复杂的程序名为 ffmpeg，用于编码、解码和处理音频和视频。

• 到目前为止，还没有任何模型能够创建通过所有测试的程序。将标准降低到至少通过 95% 的测试，Claude Opus 4.7 重现了 3% 的程序，Claude Opus 4.6 重现了 2.5% 的程序，Claude Sonnet 4.6 重现了 1.6% 的程序。在出版时，其他模型尚未重现任何程序。

ITBench-AA：由 IBM 和独立测试实验室 Artificial Analysis 开发，ITBench-AA 是 IBM 早期 ITBench 的升级版。它测试由 Artificial Analysis 的 Stirrup 控制的模型诊断导致软件系统出错的技术条件的能力，例如内存不足或错误地更改配置文件。

• ITBench-AA 包含 59 个由人类编写的真实事件案例。每个案例包括警报、事件、错误追踪、系统指标、所有涉及应用程序的清单，以及对根本原因的准确诊断。例如，在一个案例中，一个程序面临七个不同的警报，都提到了高错误率。诊断结果是人为错误（服务器因维护被下线）。

• ITBench-AA 测量的是完整召回率，即正确诊断与所有诊断的比例；如果模型遗漏了任何根本原因，它在该案例中的得分将为零。

• 在目前测试的模型中，Claude Opus 4.7 设置为 max 推理模式，达到了 46.7% 的完整召回率，是最高分。GPT-5.5 设置为 xhigh 推理模式，达到了 45.8%。在列表的最底部，Llama 3.3 70B 仅达到 0.6%，差距超过 40%。

为什么这很重要：多年来，衡量模型通用代理能力的最佳方法是 SWE-bench 及其变体。它们最初主要是为了衡量模型（后来是代理）修复错误和解决其他基础软件工程问题的能力。随着时间的推移，模型变得足够强大，几乎达到了 100% 的表现（可能是因为基准问题进入了模型的训练数据）。与此同时，代理承担了更加困难的任务，执行时间更长，且人类指令更加模糊和不一致。尽管 DeepSWE、ProgramBench 和 ITBench-AA 采用了不同的方法，但它们提出的问题都增加了复杂性和特定性，不太可能出现在模型的训练集中。

我们的思考：看到代理取得了如此长足的进步令人鼓舞，而知道它们仍有很大的改进空间则令人谦卑。

英伟达的 Nemotron 大幅升级

英伟达迄今为止最大的模型是来自美国开发者中表现最好的模型之一，也是目前最开放的模型之一。

最新进展：基于混合变压器-莫巴架构，Nemotron 3 Ultra 是一款专为长期代理任务设计的大型语言模型。它比竞争对手快得多，但其性能并不处于最顶级。英伟达发布了其权重、训练数据和配方，以及强化学习环境。

• 输入/输出：输入文本（最多 100 万个标记），输出文本（每秒约 183 个标记）

• 架构：混合专家（Mamba-Transformer 混合架构，总参数数为 5500 亿，每个标记激活 550 亿个参数）

• 特性：三种推理模式（关闭、常规、中等），推理预算，工具使用，针对开放代理框架（如 Hermes Agent 和 OpenClaw）进行了微调，支持多语言（12 种语言）

• 性能：在美国开放权重模型中得分最高，是同级别开放权重模型中最快的

• 可用性/价格：权重和数据以及代码在 OpenMDW-1.1 许可下免费提供，可通过 Perplexity Pro 订阅进行聊天，通过英伟达和其他供应商的 API 使用，每百万输入/输出标记的中位价格为 0.60 美元/2.60 美元。

工作原理：Nemotron 3 Ultra 扩展了较小的 Nemotron 3 Super 的设计。它在混合专家结构中交错使用莫巴层和自注意力层。英伟达通过监督微调、跨多个领域和环境的强化学习以及涉及多个教师的蒸馏方法对模型进行了优化。

• 该团队在两个阶段对基础模型进行了预训练：（i）在广泛知识领域上使用 15 万亿个标记进行训练，（ii）在高质量数据上使用 5 万亿个标记进行训练，其中包括 1730 亿个 GitHub 代码标记以及用于法律和事实知识的合成数据集。他们使用量化 4 位格式 NVFP4 对模型进行训练，以减少内存使用并更高效地处理标记。

• 混合架构使用莫巴层来处理长序列，同时比变压器层中的自注意力机制使用更少的内存和计算资源，并使用更小的注意力层来实现更精确的长上下文召回。LatentMoE 混合专家实现将每个标记压缩为更小的表示形式，然后将其路由到 10 个专家中的一个子集，多标记预测层一次生成多个标记。

• 该团队通过监督学习对模型进行了微调，随后在推理、编码、代理、聊天、安全性和可用性任务中，使用了带有自动可验证奖励的强化学习。此外，他们还训练了超过10个模型，每个模型专注于不同的领域。这些模型通过多教师策略（Multi-Teacher On-Policy Distillation）作为“教师”指导模型的训练过程，每个教师在其专业领域内对学生的输出进行评分，并在每个token生成后给予奖励，而不是在任务结束时才给予奖励。Nvidia在两个迭代轮次中进行了知识蒸馏，在每轮开始时，根据改进后的学生模型重新构建教师模型。

性能：Artificial Analysis的独立测试将Nemotron 3 Ultra列为美国开发者开发的开放权重模型中智能性最高的模型，但其表现仍不及DeepSeek V4 Pro和新发布的GLM-5.2。Nemotron 3 Ultra的运行速度也比同类开放权重模型更快。

• 在Artificial Analysis的“智能指数”（Intelligence Index）上，该指数综合了10项具有经济价值的任务测试，Nemotron 3 Ultra在未指定推理级别的情况下，使用Nvidia推荐用于推理的低精度NVFP4权重时得分为47.7，使用全精度时得分为48.2。这一表现超过了美国的开放权重模型，包括Google Gemma 4 31B（推理模式，39.2）和OpenAI gpt-oss-120b（高推理模式，33.3）。然而，它仍落后于中国领先的开放权重模型Moonshot Kimi K2.6（53.9）。

• 在Artificial Analysis的IFBench测试中，该测试衡量模型遵循指令的能力，Nemotron 3 Ultra（81.4%）排名第三，落后于Grok 4.3（中等推理模式，83.3%）以及Grok 4.20 0309和MiniMax-M3（均设置为推理模式，得分并列82.9%）。

• 在Nvidia的测试中，Nemotron 3 Ultra在长上下文回忆测试Ruler上表现优异，上下文长度为100万token时得分达95%。在代理生产力测试PinchBench上，它与更大的Kimi K2.6模型表现相当，得分91%。然而，在代理编码测试Terminal-Bench 2.0中，其得分仅为54%，落后于Moonshot Kimi K2.6（67%）和Z.ai GLM 5.1（64%）。

• 在Artificial Analysis的测试中，Nemotron 3 Ultra在多个提供商上运行，设置为未指定推理级别时，其平均速度约为同类开放权重模型（如Moonshot Kimi K2.6和DeepSeek V4 Pro）的三倍（约为每秒183个token）。

新闻背景：在发布Nemotron 3 Ultra之前不久，Nvidia还推出了一系列旨在提升代理性能的其他产品。其中包括Vera CPU，这是其首款专为代理工作设计的处理器；RTX Spark，一款用于设备端代理的Windows PC芯片；以及Cosmos 3，这是一个开放世界模型，可以为机器人、自动驾驶汽车和其他在现实世界中行动的代理生成训练数据。

为什么重要：近期最强大的开放权重模型主要来自中国（如Kimi K2.6、Qwen3.5、DeepSeek V4、GLM-5.2）。Nemotron 3 Ultra让美国开发者重新进入竞争，并为开发者提供了一个快速、开放且完整文档记录的基础，便于他们针对代理任务进行定制。

我们想说的是：Nvidia 有充分的理由发布性能强劲的开源模型：避免将模型开发集中在少数几家专有模型开发商手中，将加速模型的采用并创造一个更健康的生态系统，这将有利于人工智能芯片市场的领导者。此外，开发者在基于针对 Nvidia 芯片优化的模型上构建代理程序越多，对这些芯片的需求就越大。我们很高兴 Nvidia 有动力继续推动前沿技术并发布开源模型！

带提示的强化学习

如果模型无法发现所有正确的步骤，强化学习就无法训练模型解决一个困难的问题。但给模型提供最初的几步，可能会带来显著的差别。

新进展：卡内基梅隆大学的 Yuxiao Qu、Amrith Setlur、Virginia Smith、Ruslan Salakhutdinov 和 Aviral Kumar 提出了一种名为 Privileged On-Policy Exploration (POPE) 的训练方法，该方法用于大型语言模型，结合了强化学习算法 GRPO 与自定义构建的数据集。在训练那些大型语言模型通常无法解决的问题（如困难的数学问题）时，除了给模型提供问题本身，POPE 还会附加解决方案的开头部分。

关键见解：在监督微调中，给定一个问题和一个解决方案，模型可以学习生成该解决方案。但它可能会学习到特定的解决方案，而不是能够生成训练数据中未包含的解决方案的一般性问题解决技能。在强化学习中，解决方案的开头可以作为提示，帮助模型发现解决方案。例如，除了“解决这个几何问题”的指令外，模型还可能收到“画出辅助三角形并应用勾股定理……”等前几步提示，然后继续完成。在训练过程中，如果同时提供有提示和无提示的相同问题版本，模型也可以在没有提示的情况下找到早期步骤。

工作原理：作者使用自定义数据集，通过 GRPO 对预训练的 Qwen3-4B-Instruct-2507 进行微调。

• 从三个包含已知解决方案的数学问题数据集中开始，作者选择了预训练模型在 128 次尝试中未能正确解决的示例，每次尝试生成最多 32,000 个 token。

• 对于每个示例，作者提取了解决方案的开头部分，即前缀。他们逐步向 Qwen3-4B-Instruct-2507 提供越来越长的前缀，直到其正确完成解决方案，最长前缀长度为解决方案长度的四分之一。

• 他们将此前缀附加到对应的示例中，并附上一条指令，让模型从此处继续解决问题。

• 在 GRPO 训练过程中，他们以相等的比例向模型展示了每个问题，有时包含前缀，有时不包含。如果模型解决了问题，GRPO 会调整模型的权重，以增加其生成相同 token 的概率，使类似解决方案更有可能出现。如果模型失败，GRPO 会调整模型的权重，以降低其生成相同 token 的概率。

结果：作者将通过 POPE 微调后的 Qwen3-4B-Instruct-2507 与典型的 GRPO 和监督微调进行了比较。POPE 在两者中表现一致优于它们，且显著优于监督微调。他们评估了在一次尝试（pass@1）和 16 次尝试（pass@16）后的结果。

• 在 AIME 2025 竞赛数学问题数据集上，POPE（一次尝试通过率 53.1%，16 次尝试通过率 82.6%）优于典型的 GRPO（一次尝试通过率 49.6%，16 次尝试通过率 81.4%）。

• 在 HMMT 2025 上，该竞赛同样由数学竞赛题组成，POPE（首次通过率 37.8%，第 16 次通过率 67.5%）的表现优于典型的 GRPO（首次通过率 31.0%，第 16 次通过率 63.8%）。

是的，但：POPE 需要具有已知解的问题。在那些获取此类解成本较高的领域，POPE 也会继承这一成本。

为什么重要：这项工作攻克了强化学习中的一个重大瓶颈：探索。当前的强化学习方法在模型已经能够部分解决的问题上表现最佳。当问题变得困难时，强化学习会消耗大量计算资源用于探索，这在算法上等同于“不断尝试，希望偶然找到成功解决方案”。POPE 能够引导模型走上正确的路径，之后强化学习可以更加高效。

我们的思考：这种方法将学习解决困难问题的过程分为两个步骤：（i）找到一个可以用来解决问题的良好状态，以及（ii）解决问题。而不是同时尝试完成这两项任务，大型语言模型（LLM）首先从（ii）开始，一旦学会解决（ii），学习如何完成（i）就会变得更容易。