Thinking to recall: How reasoning unlocks parametric knowledge in LLMs

通过推理来回忆：推理如何在大语言模型中解锁参数化知识

2026年6月24日

Zorik Gekhman 和 Jonathan Herzig，Google Research 研究科学家

我们研究了一种反直觉的现象，即推理帮助语言模型回忆简单的事实，即使不需要复杂的逐步解决方案。我们表明，这种现象由两个机制驱动：（1）使用生成的推理标记执行潜在计算，以及（2）生成相关事实以激发正确答案的回忆。

快速链接

• 论文

• 分享 复制链接 ×

众所周知，允许大型语言模型（LLMs）生成逐步推理轨迹（通常称为思维链（CoT））可以提高在复杂任务上的表现。当模型解决困难的数学方程、编写软件或回答多跳事实问题时，将问题分解为可管理的逻辑步骤是非常有效的。

然而，这种方法在简单、单跳事实问题中的效用仍不清楚。例如，考虑一个查询，如：“Mary Engle Pennington 是在哪一年被选入国家发明家名人堂的？”一个大型语言模型（LLM）要么在其参数化记忆中存储了这个事实（知识直接编码在其权重中），要么没有；不需要进行复杂的算术或逻辑推理。那么，为什么推理轨迹会有帮助呢？

在《通过推理来回忆：推理如何在大语言模型中解锁参数化知识》中，我们研究了这一现象。我们证明，允许模型生成推理轨迹可以解锁那些否则几乎无法触及的正确答案。为了理解为什么推理在没有复杂推理步骤的情况下有助于参数化知识的回忆，我们进行了一系列以假设驱动的受控实验。我们的研究结果揭示了两个互补的机制：计算缓冲效应和事实预热。

探索知识边界

我们首先使用 pass@k 指标来衡量参数化回忆能力的边界。与仅检查一个模型生成的答案不同，pass@k 检查多个生成尝试中是否存在正确事实。通过评估模型输出分布中成功推理路径的存在，同时对它们的确切排名不太敏感，pass@k 帮助我们估计推理在事实回忆中的潜力，而不仅仅是查看当前模型的 top-1 行为。为了在控制参数化知识的情况下评估推理的影响，我们专注于推理大型语言模型（R-LLMs），其中推理可以启用或禁用（开启或关闭），并比较这两种模式之间的 pass@k。我们专注于 Gemini-2.5（Flash 和 Pro）和 Qwen3-32B 模型，使用两个具有挑战性的闭合书籍问答数据集：SimpleQA Verified 和 EntityQuestions。

结果出人意料地一致。当启用推理时，模型能够成功回忆那些在禁用推理时几乎无法恢复的答案。重要的是，这种改进不仅仅是由于模型分解了复杂的问题。这是由于我们有意专注于包含大量简单、单跳问题的数据集。

根据 image_width 确定适当的宽度

对于移动图像，使用默认宽度

在两个闭合书籍问答数据集和三个大型语言模型中，比较启用推理（ON）与禁用推理（OFF）的相同模型的 pass@𝑘 曲线。

这些结果引发了一个问题：如果这种效果并非来自于逐步推理，那么是哪些推理模式使模型能够检索到正确答案？

机制 1：计算缓冲区

我们的第一个假设聚焦于生成的机制。我们采用了一个长期存在的假设，即生成额外的标记相当于增加了计算时间，因为它提供了额外的前向传递机会，并在 R-LLMs 的参数化知识回忆新设置中对其进行测试。具体来说，我们假设模型隐式地将这些推理标记用作计算缓冲区，以执行潜在的处理，而与实际生成的语义内容无关。

为了验证这一点，我们设计了一个实验，移除了推理轨迹中的所有有意义内容。我们拦截模型的推理过程，并将其生成的轨迹替换为一个无意义的字符串 "Let me think"，不断重复直到与原始推理轨迹的长度相匹配。然后，我们让模型在基于这个虚拟文本的条件下预测最终答案。

令人惊讶的是，与完全关闭推理的基线相比，让模型基于这个无意义的轨迹进行条件化处理，显著提高了其回忆正确答案的能力。这为仅通过给予模型更多的计算时间，就能帮助其优化内部状态并获取难以触及的事实提供了强有力的证据。

计算缓冲区对 Gemini-2.5-Flash 的影响。ON Dummy 用一个没有事实内容的短序列替代了推理轨迹，该序列被重复以匹配原始轨迹的标记长度。

然而，这种计算缓冲区效应也有其局限性。将虚拟文本延长到更长的长度最终会带来递减的回报，并且它从未完全达到模型自然推理轨迹的性能。这意味着，虽然额外的计算有帮助，但思维内容的实际内容仍然重要。

在基于虚拟推理轨迹进行条件化处理时，推理效果作为输入长度（以标记为单位）的函数。ON Dummy X 用一个短的虚拟序列替代推理轨迹，该序列被重复以使输入长度达到 X 个标记。推理效果指标（Ω）总结了所有 k 值的 pass@k 增益。我们将其定义为推理 ON 和 OFF 模式之间 pass@k 的加权平均相对差异。

机制 2：事实预激活

当我们分析为简单事实问题生成的自然推理轨迹时，我们注意到一个常见的模式。模型并不是写出逻辑证明，而是提取出相关的事实。

在人类认知中，有一个被称为扩散激活的概念，即处理特定概念时，会在语义记忆中激活相关的概念，使其更容易被检索。我们假设语言模型表现出类似的生成性自我检索机制，我们称之为事实预激活。通过生成与问题主题相关联的事实，模型构建了一个有助于正确答案检索的情境桥梁。

为了验证假设，我们从模型的推理轨迹中提取出具体的事实，应用严格的过滤，去除任何填充文本、搜索计划或对最终目标答案的明确提及。然后，我们隔离了回忆事实的效果，并展示了基于少量回忆事实的条件化处理能够恢复大部分推理的增益，即使在推理关闭的情况下也能有所帮助。

事实引导对 Gemini-2.5-Flash 的影响。我们首先提取推理过程中提到的事实。ON Facts 会用这个简短的事实列表覆盖模型的原始推理过程，并重新生成最终答案，而 OFF Facts 则在推理过程中禁用模型，将事实列表作为额外输入上下文的一部分提供给模型。

例如，如果被问及尼泊尔第十位国王的名字，一个推理模型可能会首先列出前九位国王。回忆起这前九位国王的过程起到了语义预热的作用，引导网络成功回忆起第十位国王。这些事实本身是通往正确答案的阶梯。

“事实引导”在实际操作中的示例，其中中间的事实检索（列出前九位国王）引导模型成功回忆起尼泊尔第十位国王。当推理功能启用（ON）时，模型能够正确回答问题，而当推理功能未启用时则失败。此外，当预测仅基于推理过程中回忆出的简短事实列表时，模型也能成功回答。

幻觉陷阱

尽管生成式自我检索是一种强大的机制，但它引入了根本性的风险。因为模型自己生成这些中间事实，它们可能会出现幻觉。因此，我们检查这些推理阶段的错误如何影响最终答案。为了找出这一点，我们构建了一个大规模的审计流程，使用一个具备搜索功能的验证器，独立检查数以万计推理轨迹中每一个生成的中间事实的正确性。

审计结果显示了一个明显的模式。如果推理轨迹中包含哪怕一个幻觉的中间事实，模型就显著不太可能得出正确的最终答案。这表明，尽管事实引导机制有效，但它可能比较脆弱。

当推理轨迹中包含幻觉（hallucinated）时与不包含幻觉（clean）时正确答案的比例。

构建更可靠的模型

理解这些机制为提高模型的可靠性提供了实际的途径。由于事实引导有效，而幻觉的中间事实会降低性能，我们可以利用这两个洞见来提高模型的准确性。

为了评估这些洞见的潜力，我们采用了一种测试时的选择策略，为每个问题生成多个推理轨迹，仅保留那些包含可验证且无幻觉事实的轨迹。优先选择这些轨迹显著提高了准确性。在实践中，这种优先选择可以通过训练过程中的奖励机制来实现，以鼓励具有事实支持的中间步骤。

基于事实回忆和事实正确性的测试时选择标准下的预期准确性。

结论

我们的研究结果表明，语言模型中的推理功能的作用远不止于任务分解或数学逻辑。它是一种基本机制，用于揭示模型的内部记忆并扩展其参数知识的边界。这些见解为未来的研究开辟了令人振奋的方向。了解到事实准确的推理过程能产生更好的答案，意味着训练方法可以进一步优化。通过利用特别鼓励基于事实的中间步骤的过程奖励，我们或许能够训练出更可靠、更不容易产生幻觉的模型。我们期待看到研究社区如何继续探索推理、记忆和检索之间的交叉点。

致谢

本研究由 Zorik Gekhman、Roee Aharoni、Eran Ofek、Mor Geva、Roi Reichart 和 Jonathan Herzig 完成。我们感谢 Eyal Ben-David 和 Avinatan Hassidim 对本工作的审阅以及他们的宝贵建议。

• 标签：

• 生成式人工智能

• 机器智能

• 自然语言处理

其他相关文章

• 2026年6月16日 从像素到规划：用于自然恢复的 Earth AI 气候与可持续性 · Earth AI · 机器智能 · 开源模型与数据集

• 2026年6月5日 通过 Gemini 企业代理平台的代理 RAG 解锁可靠响应 数据管理 · 机器智能 · 自然语言处理 · 产品

• 2026年6月4日 通过智能手机摄像头实现被动心脏健康监测 健康与生物科学 · 人机交互与可视化 · 机器智能

×

❮

❯