Why a Tiny GPT Can Know Two Facts and Still Not Connect Them
TL;DR · AI 摘要
Two-Hop Curse Explained With a Tiny GPT Experiment Large Language Models Why a Tiny GPT Can Know Two Facts and Still Not...
核心要点
- 主题聚焦:Why a Tiny GPT Can Know Two Facts and Still Not
- 来源:Towards Data Science,建议结合原文判断细节。
- AI 分析暂不可用,本条为保底评分与摘要。
用微型 GPT 实验解释两跳诅咒
大型语言模型
为什么微型 GPT 可以记住两个事实却无法将它们联系起来
一个微型 GPT 记住了我给它的所有事实,但面对需要结合两个事实的问题时却无法回答。我测试了近期论文中提出的一行修复方案,但效果只达到一半。
Utkarsh Mangal
2026年11月5日
8 分钟阅读
在 Google 上关注我们
分享
作者提供的图片。使用 Python 脚本制作。
向语言模型提问 "Imagine 的表演者配偶是谁?",如果模型能先进行推理(先确定歌曲的表演者,再确定该人的配偶),好的模型会给出正确答案。但如果要求模型在没有可见推理过程的情况下一步到位回答,结果就会变得不稳定。
Balesni、Korbak 和 Evans [1] 想要了解这种弱点的深度。他们的方法是通过虚构事实对模型进行微调,使答案无法依赖训练数据中某些模糊的记忆捷径。当两个事实出现在同一训练文档中时,模型能够将它们串联起来。但当这两个事实分别来自不同文档时,准确率会降至随机水平。他们将这种现象命名为「两跳诅咒」。
我之前写过关于「反转诅咒」的内容,即模型学习了 "A 是 B" 却无法回答 "B 是 A" [3]。两跳版本看起来像是它的近亲,同样具有让论文变得有趣的特性:你可以在一个可以查看所有数据细节的规模上重建整个实验。因此我进行了尝试。
实验设置:两个事实,一个无人提问的问题
我虚构了 200 个主体、200 个桥梁实体和 200 个答案。每个主体通过随机配对与一个桥梁实体关联,每个桥梁实体又通过随机配对与一个答案关联。想象一下「人-城市-国家」的结构,但我的数据中没有任何内容具有实际含义,因此模型无法依赖任何世界知识。
训练时向模型展示这两个关联作为独立示例:(主体, 关系1) 对应桥梁实体,(桥梁, 关系2) 对应答案。我关心的问题是 (主体, 关系1, 关系2) 对应答案。这个问题从未出现在训练集中,它就是测试内容。
两个事实存在于训练数据中,但组合后的提问从未出现。作者提供的图片。
模型是一个 4 层 GPT,宽度 128,4 个注意力头,使用 AdamW 从零开始训练(学习率 0.001,权重衰减 0.1),在每一步都使用完整训练集训练 2,500 步。以下所有设置都使用三个随机种子运行。准确率要求严格:模型在整个词表中预测的最可能结果必须是正确的答案词。
数据构建仅需几行代码。SUBJ、BRIDGE 和 ANSWER 只是 token id 列表,R1 和 R2 是两个关系 token。
python
import numpy as np
N = 200
rng = np.random.default_rng(0)
p = rng.permutation(N) # subject i -> bridge p[i]
q = rng.permutation(N) # bridge j -> answer q[j]
train = [] # (input tokens, target token)
for i in range(N):
train.append(([SUBJ[i], R1], BRIDGE[p[i]])) # first hop
for j in range(N):
train.append(([BRIDGE[j], R2], ANSWER[q[j]])) # second hop
# identity bridge: for a chosen fraction of bridges, add "b -> b"
frac = 0.0
chosen = rng.permutation(N)[: int(round(frac * N))]
for j in chosen:
train.append(([BRIDGE[j]], BRIDGE[j]))
# test: never appears in training
test = [([SUBJ[i], R1, R2], ANSWER[q[p[i]]]) for i in range(N)]诅咒的表现形式
仅使用训练集中两个一跳表,模型几乎立即记住了所有内容。在第一次记录的检查点(第100步)时,训练准确率已达100%,并且一直保持在该水平。在两跳测试中,三次运行中每次都在200个问题中全部答错,总计600个问题全错。
为了说明这一点,一个在200个可能答案中随机猜测的模型,大约能答对其中3个。全错意味着网络在处理未见过的两跳问题时,根本不是在答案中随机猜测。我没有记录模型输出的具体内容,因此不会对此进行推测。
这正是“两跳诅咒”最纯粹的表现形式。模型知道所有需要的事实,能够完美回答所有一跳问题。但即便如此,它仍然无法在未被展示的情况下将两个事实串联起来。
一行代码的解决方案
Lin、Chen和Xu在最近的一篇论文[2]中提出,在这种情况下,训练数据缺少了某些关键信息。没有任何内容告诉模型,第一跳产生的桥接实体与第二跳所需的桥接实体是同一个。他们认为,缺少这一点会导致网络使用独立的内部特征分别拟合一跳任务,而这两个特征永远不会连接。
他们的解决方案被称为“身份桥”:对每个桥接实体b,添加一个额外的训练样本,将b映射到自身。这相当于输入一个token,输出相同的token。不涉及任何主体、答案或复合问题的提示。
他们报告称,这种简单修改足以在合成设置中解锁组合能力,而缺少它时组合能力会失败[2]。对于如此微小的改动能产生如此显著的影响,我进行了验证。我测试了不同比例的200个桥接实体获得身份示例的情况:0%、25%、50%或全部。由于获得示例的桥接实体和未获得示例的实体都在同一测试集中,我能够分别对这两组进行评分。
实际发生的情况
先看从未获得身份示例的桥接实体。在所有12次运行和25个检查点中,模型对这些测试问题的正确率始终为0%。在0%、25%和50%覆盖率下,最终步骤分别有600、450和300个此类测试用例,且在任何阶段都未答对任何问题。
现在看获得身份示例的桥接实体。
训练过程中对未见过的组合问题的两跳准确率。带有身份示例的桥接实体(蓝色)在一段时间内能组合,随后效果下降。未获得示例的桥接实体(橙色)始终无法组合。数据为3个种子的平均值;阴影区域表示100%设置下的最小值到最大值范围。图片由作者提供。
组合能力部分有效。在第一次检查点(第100步)时,当25%的桥接实体有示例时,这些桥接实体的准确率平均为25%;50%时为38%;100%时为35%。这远高于随机猜测的0.5%,也远高于“诅咒”导致的零准确率。模型从未见过任何组合示例,却能正确回答超过三分之一的问题。
但这种效果无法持续。在所有包含任何身份示例的九次运行中,这些桥接实体的准确率在第一次或第二次检查点时最高,随后在训练过程中持续下降。到第2500步时,三个设置的准确率分别为7%、14%和15%。在100%设置中,三个种子最终分别达到12.5%、21.5%和11.5%。
第一次检查点与最后一次检查点时,带有身份示例的桥接实体准确率对比。误差条表示三个种子的标准差。图片由作者提供。
我能说的和不能说的
在当前的设置中:诅咒已经完全生效(0/600),而身份示例正是区分能组合的桥梁与无法组合的桥梁的关键因素。每个缺少身份示例的桥梁在每次运行的所有检查点都失败了。
同样明确的是:在我的设置中,这种优势是暂时的。这种效果确实存在,但随着持续训练会逐渐减弱。
我不清楚具体原因。我的猜测(尚未验证)是:更长的训练时间让网络在两个单跳表中形成了独立的内部特征,这正是身份示例本应防止的情况。权重衰减和学习率也可能起到作用,而我在实验中每次只改变一个变量——即桥梁中包含示例的比例。
在解读这些数据时,我还会对任何读者提出两个额外的限制。我只在每100步进行评估,因此从未观察到最初的100步。峰值可能高于38%,且可能更早出现。此外,我的设置与论文存在显著差异。Lin及其团队在使用更大模型(12层,768宽度)以较低学习率训练20个epoch的最简单设置中报告了接近完美的准确率[2]。而我的实验使用的是4层模型,在较高学习率下进行了2500次完整批量训练。因此我的结果并未与他们的结论矛盾。这表明解决方案对训练时长和强度非常敏感,而这个问题需要直接测试才能得出更明确的结论。
为什么玩具模型值得投入
在真实模型中,情况更加模糊。Balesni及其团队对九个前沿模型进行了现实事实测试,发现这些模型在没有思维链的情况下,超过一半的问题类别完全失败,但在允许书面推理时仍能部分完成[1]。其他研究则认为,要让模型足够了解事实以应对两跳问题,可能需要将信息存储两次[4],这在一定程度上解释了为何实现起来如此困难。
我无法通过200实体的玩具模型判断大型模型内部是否发生了类似情况。但玩具模型确实给了我一个从论文中很少获得的优势:一个足够小的实验,让我可以亲自验证,同时具备针对每个事实的开关控制。关闭开关时,模型每次都会失败;开启开关时,模型可以组合信息,但训练过程仍可能逐渐削弱这种能力。
这使得一个显而易见的后续问题变得具体:这种性能衰减是取决于权重衰减、学习率,还是仅仅因为训练时间过长?我将首先对前几百步的每10步进行评估,然后系统调整这两个参数。如果你先尝试这个实验,我很想听听你的发现。
···
参考文献
[1] Mikita Balesni, Tomek Korbak, Owain Evans, 两跳诅咒:在A→B、B→C上训练的LLM无法学习A→C(2024),arXiv:2411.16353
[2] Pengxiao Lin, Zheng-An Chen, Zhi-Qin John Xu, 通过身份桥梁揭示Transformer中多跳推理的机制(2025),arXiv:2509.24653
[3] Lukas Berglund等,《反转诅咒:在"A是B"上训练的LLM无法学习"B是A"(2024),ICLR 2024
[4] David Johnston, Nora Belrose, 通过信息内容扩展研究两跳推理(2025),arXiv:2502.03490