Towards Data Science

After 10 Heads in a Row, Small LLMs Bet Up to 82% on an 11th

8.5内容质量

TL;DR · AI 摘要

小型语言模型在连续出现10次正面后,仍有高达82%的概率预测第11次为正面,表现出对赌徒谬误的偏差。

核心要点

  • 小型语言模型在连续正面后仍倾向于预测正面,偏差高达82%。
  • 告知模型硬币是公平的,仅能略微减少其对连续事件的偏差。
  • 赌徒谬误在人类和语言模型中均存在,但表现形式不同。

结构提纲

按章节快速跳转。

  1. 文章探讨了语言模型是否容易陷入赌徒谬误,并通过实验测试了8个模型的表现。

  2. 赌徒谬误是指人们错误地认为独立事件的概率会因之前的结果而改变。

  3. 通过计算概率,证明连续正面后下一次为正面的概率仍为50%。

  4. 实验发现,小型语言模型在连续正面后仍倾向于预测正面,偏差显著。

  5. 告知模型硬币是公平的,仅能略微减少其对连续事件的偏差。

  6. 语言模型表现出对赌徒谬误的偏差,但其表现形式与人类不同。

思维导图

用一张图看清主题之间的关系。

查看大纲文本(无障碍 / 无 JS 友好)
  • 语言模型与赌徒谬误
    • 赌徒谬误定义
      • 人类常犯的错误
    • 实验方法
      • 硬币实验
      • 模型测试
    • 实验结果
      • 模型偏差高达82%
      • 告知公平性影响有限

金句 / Highlights

值得收藏与分享的关键句。

#LLM#AI#赌徒谬误#语言模型
打开原文

对8个大型语言模型进行赌徒谬误测试,发现存在连续偏倚

大型语言模型

连续出现10次正面后,小型语言模型在第11次正面的投注高达82%

告诉八个基础模型和指令微调的开放模型硬币是公平的,抛掷是独立的,只能略微减少它们的连续偏倚。

Utkarsh Mangal

2026年11月16日

13分钟阅读

在Google上推荐我们

分享

作者绘制的图片,使用Python绘制

大型语言模型会陷入赌徒谬误吗?我通过阅读八个开放模型在随机公平硬币抛掷中的下一个令牌概率来找出答案。大部分情况下不会,但它们所做的事情却更加奇怪。

1913年8月18日夜晚,据传在蒙特卡洛赌场,轮盘球连续26次落在黑色。大约在第十次黑色之后,赌徒们开始将钱押在红色上,确信如此长的连续出现必须会中断。它没有中断,通常的叙述是他们损失了数百万法郎。由于不同叙述的细节有所不同,我认为具体的数字可以宽松地对待。这个故事背后的错误是真实存在的,足以拥有一个名字:赌徒谬误。

人类经常犯这个错误。我想知道语言模型是否也会犯,而且我想知道一种不依赖于聊天模型如何礼貌地回答一个琐碎问题的方式来了解。问“在连续五次正面之后,硬币是否应该出现反面?”测试的是模型所说的。阅读它的下一个令牌概率测试的是它所期望的。这两者可以以有趣的方式分开。

为什么硬币不会“该轮到”反面

拿一枚公平的硬币。连续五次正面出现的概率是1/32:

P

(

HHHHH

)

=

1

2

5

32

P(\text{HHHHH}) = \left(\tfrac{1}{2}\right)^5 = \tfrac{1}{32}

​

连续五次正面后出现反面的概率是1/64,正好是前者的二分之一。因此,如果你刚刚看到五次正面出现,下一次抛掷出现反面的概率是

T

∣

HHHHH, then T

/

64

P(\text{T} \mid \text{HHHHH}) = \frac{P(\text{HHHHH, then T})}{P(\text{HHHHH})} = \frac{1/64}{1/32} = \frac{1}{2}

1/32

1/64

连续出现是罕见的部分。一旦它发生,它只是历史,硬币无法读取它。同样的计算适用于任何连续长度:运行的罕见性(这里是1/32)总是与运行加一次额外抛掷的罕见性相互抵消,剩下的就是1/2。

它仍然感觉不对,这种感觉已经被研究了很长时间。特沃斯基和卡尼曼将这种潜在的习惯称为对“小数定律”的信念:人们期望即使是很短的序列也看起来像长期平均值,因此连续的正面感觉像是让硬币欠了债 [2]。这不仅仅是一个课堂效应。陈、莫斯基茨和舒发现,在难民营法官、贷款官员和棒球裁判中,决策存在负自相关,与案例的优劣无关,他们将其解读为与赌徒谬误一致 [1]。

一个不是谬误的经验法则

有一个对实验有影响的例外情况。以上所有假设都基于你知道硬币是公平的。如果你不知道,连续出现就是证据。

形式化“我对这枚硬币一无所知”的经典方法是拉普拉斯的连续法则:在n次抛掷中出现h次正面后,估计下一次正面出现的概率为

^

h

+

n

\hat{p} = \frac{h + 1}{n + 2}

连续五次抛出正面的概率是 6/7,约为 86%。一个对硬币没有先入之见的观察者应该预期这种连贯性会继续,因为连续五次正面正是一个高度偏倚的硬币所会产生的结果。因此,一个在连续出现后预期重复的模型并不一定犯了谬误。它可能只是在对一个未知硬币进行推理。

这就是我为什么每项测试都运行了两次:一次是不描述硬币,另一次是明确提示硬币是公平的,且每次抛掷是独立的。在第二种情况下,每个连续长度的正确答案都是 1/2,没有任何余地。

已经完成的工作和我所关注的空白

我并不是第一个将语言模型应用于抛硬币问题的人。Bigelow 及其同事研究了上下文学习在随机二进制序列中的表现,并发现一些 GPT 模型生成的序列中存在类似赌徒谬误的模式,即比随机性更多的交替现象 [3]。Van Koevering 和 Kleinberg 比较了语言模型生成的硬币抛掷序列与人类书写的序列 [4]。Mondal 及其同事提出,模型的声明答案和其计算的概率可能不一致,他们称之为揭示的信念与声明的答案 [5]。

据我所知,没有人将这些研究整合到当前的具体问题上:给定一个真正随机的序列,模型对下一次抛掷的预测概率如何随着连续正面的长度而变化?告诉模型硬币是公平的是否能修正这种变化?它是否与模型在被直接询问时的陈述一致?这就是我所测量的内容。

如何解读模型对硬币的信念

语言模型不会输出“正面”或“反面”。它会为词汇表中的每个词元输出一个概率。如果我在提示中写完一系列抛掷结果,如 H T T H H,模型对词元 H 和 T 的概率就是它对下一次抛掷的猜测。仅对这两个词元进行归一化,我可以直接读取这个数值:模型对正面的概率。

还有一个方便的技巧。模型从左到右读取序列,因此对整个序列进行一次前向传递,可以为每个位置的抛掷生成一个概率,每个概率仅基于它之前的抛掷。我使用 NumPy 生成一个随机序列,将其输入一次,然后读取模型在每次抛掷前的信念。

下面是核心部分:

python

code
import numpy as np, torch
def p_heads_before_each_flip(model, tok, header, flips):
# flips: 0/1 数组,其中 1 表示正面
base = tok(header)["input_ids"]
id_H = tok(header + " H")["input_ids"][-1]
id_T = tok(header + " T")["input_ids"][-1]
ids = base + [id_H if f else id_T for f in flips]
with torch.no_grad():
logits = model(torch.tensor([ids])).logits[0, len(base) - 1 : -1].float()
return torch.sigmoid(logits[:, id_H] - logits[:, id_T]).numpy()

两个 logit 的差值的 sigmoid 是在仅对 H 和 T 归一化后正面的概率。切片 len(base) - 1 : -1 选取了预测第 0、1、2 等次抛掷的位置。

然后,我根据每次抛掷前连续正面的长度对这些概率进行分组,并将其转化为“连续继续的概率”:

code
def streak_and_p_repeat(flips, p_heads, r_max=10):
p_repeat = np.where(flips[:-1] == 1, p_heads[1:], 1 - p_heads[1:])
run = np.ones(len(flips), dtype=int)
for j in range(1, len(flips)):
run[j] = run[j - 1] + 1 if flips[j] == flips[j - 1] else 1
return np.minimum(run[:-1], r_max), p_repeat

在许多序列中,每个连续长度的平均 p_repeat 会形成一条曲线。由于序列是真正随机的,因此在每个连续长度上,正确答案都是 0.5。曲线上任何偏离 0.5 的部分,都是模型自身的先验信息泄露出来的,因为随机序列中并没有任何可供模型学习的内容。

这里有一个重要的合理性检查。如果模型将大部分概率分配给其他某个标记,比如换行符或单词 "The",那么重新归一化后的 H 与 T 数量所衡量的只是其注意力的一小部分。因此,我记录了每个模型和每个提示下,H 和 T 的总概率分布情况。

实验

我使用了四个开源模型系列,每个系列都作为基础模型和指令微调版本进行测试:Qwen2.5(1.5B 和 3B)、SmolLM2-1.7B 和 OLMo-2-1B。比较基础模型和指令微调模型是刻意为之的。指令微调是模型被训练以变得合理和有帮助的阶段,我想看看它是否会消除偏见、引入新的偏见,或者没有任何变化。

对于每个模型,我生成了 1,200 个长度为 60 的公平硬币翻转的随机序列,这些序列在所有模型之间是共享的,因此每个模型都看到了相同的数据。每个序列可以产生 59 个预测,曲线根据连续长度对这些预测进行平均,并通过重新抽样整个序列得出 95% 的置信区间。

共有三个测试。

第一个是主要测试:在两个提示标题下,连续长度曲线。普通标题仅说明:“这里是一组硬币翻转记录(H = 正面,T = 反面):”。公平硬币标题则说明硬币是公平的,每次翻转都与之前的独立。

第二个测试是“说”与“做”的对比。为了了解模型说了什么,我提出了一道多项选择题:一个公平硬币(或理想化的轮盘)连续 k 次(k 从 3 到 12)以相同方式落地,模型需要在“小于 50%”、“正好 50%”和“大于 50%”之间选择下一次重复的概率。我打乱了选项的顺序,因为模型对字母有偏好。为了了解指令微调模型做了什么,我展示了 24 次随机翻转,其中以某个指定长度的连续序列结尾,并要求模型以聊天格式回答下一次翻转,然后从回答中读取 H 和 T 的概率。

第三个测试是可学习性检查。我创建了另外两种数据,一种是每次翻转重复前一次的概率为 0.7,另一种是重复的概率为 0.3,这样就形成了连续性和交替性的硬币。如果模型在公平硬币上的行为是顽固的先验,它将无法适应这些数据。如果它只是一个可以被证据覆盖的默认值,它应该会遵循数据。

连续序列之后模型的预期

图 1 是核心结果。虚线是公平硬币的正确答案。顶部行的点线表示一个对硬币没有偏见的理想学习者所预期的,因此它展示了如果不知道硬币是公平的,连续序列可以支持多高概率。

在随机公平硬币序列中,下一次翻转重复当前连续长度的概率。海军蓝 = 基础模型,橙色 = 指令微调模型;阴影区域是 95% 置信区间。顶部行:未描述硬币。底部行:提示说明硬币是公平的。图片由作者提供。

这些模型大多不会陷入赌徒谬误。对于较长的连续序列,它们的表现大致相反。在所有八个模型中,当连续抛掷次数超过约四次后,重复出现的概率开始上升。在连续抛掷十次或更多次后,Qwen2.5-1.5B 的概率为 0.81(基础模型)和 0.82(指令模型),OLMo-2-1B 为 0.71 和 0.71,Qwen2.5-3B 为 0.64 和 0.67,SmolLM2-1.7B 为 0.60 和 0.59。正确的概率应为 0.50。

曲线的短端表现更为复杂。对于连续抛掷一次到四次的情况,Qwen 模型的概率在 0.47 到 0.58 之间。SmolLM2 和 OLMo-2-Instruct 的概率则低于 0.5:SmolLM2-Instruct 在连续三次抛掷时降至 0.40,而 OLMo-2-Instruct 在连续一次和两次抛掷时为 0.43。这种轻微的倾向交替现象类似于赌徒谬误,但随着连续次数增加,这种倾向会逆转。

上升趋势的一部分是可以辩护的。在这些相同序列中,一个对硬币一无所知的观察者(虚线)在连续六次抛掷时应期望约为 0.60,在十次或更多次时应期望约为 0.67。Qwen2.5-3B 和 SmolLM2 的概率保持在该线以下或与之持平。Qwen2.5-1.5B 在十次或更多次时的预测值比该线高出约 14 个百分点。指令微调的影响较小:对于 Qwen 模型,基础模型和指令模型的曲线几乎重合,而最大的差异出现在 OLMo-2 和 SmolLM2 的短连续序列中。

第二行是更严格的测试。在该测试中,提示信息说明硬币是公平的,抛掷是独立的,因此理想学习者不再有理由将概率提高到 0.5 以上。

说明硬币是公平的只能略微有所帮助。在十次或更多次抛掷时,Qwen2.5-1.5B 的概率从 0.81(基础模型)下降到 0.77,从 0.82(指令模型)下降到 0.79;Qwen2.5-3B 的概率从 0.64 下降到 0.58,从 0.67 下降到 0.62;OLMo-2-1B 的概率几乎不变(基础模型从 0.71 下降到 0.70,指令模型从 0.71 下降到 0.68)。SmolLM2-Instruct 的概率反而上升,从 0.59 上升到 0.61。以 0.50 为正确答案,所有模型在十次或更多次抛掷时仍至少高出 7 个百分点,曲线的形状保持不变。

还有一个数据:在模型看到任何一次抛掷之前,它们就已经表现出偏斜。在第一次抛掷中,正面出现的概率在八个模型和两个提示中从 0.59 到 0.99 不等。我的标题列出了正面在前,这可能是原因之一,但我没有测试标题顺序的影响。

它们所说的与它们所做的

图 2 将这两个测量结果并排展示。左侧是每个模型对直接问题的回答,平均了硬币和轮盘版本以及连续长度。右侧是聊天版本在必须预测下一次抛掷时,赋予连续序列继续的概率。

左侧:当直接询问时,每个模型的概率在三个答案之间的分布(平均了硬币和轮盘问题以及连续长度 3 到 12)。右侧:当被要求预测下一次抛掷时,指令模型赋予给定长度连续序列继续的概率。图片由作者提供。

模型所说的并不一致。Qwen2.5-3B-Instruct 几乎完美:在“正好 50%”上的总体概率为 88%,在每个硬币问题上都达到 100%,尽管在轮盘问题上有所失误,将 7% 到 33% 的概率分配给“低于 50%”。Qwen2.5-1.5B-Instruct 的表现正好相反:在“低于 50%”上为 52%,这是赌徒的答案,而在正确的答案上仅为 13%。OLMo-2-1B-Instruct 几乎均匀地分配了概率(32%、36%、32%),因此它实际上并没有回答问题。基础模型和 SmolLM2-Instruct 仅将 18% 到 53% 的概率分配给三个答案选项,因此我认为它们的答案只能作为微弱的证据。

指令模型的行为则有所不同。在出现连续十二次相同结果后,Qwen2.5-1.5B-Instruct 有 69% 的概率认为这一趋势会继续,SmolLM2-Instruct 为 63%,Qwen2.5-3B-Instruct 为 56%(区间为 0.49 到 0.63),OLMo-2-Instruct 为 50%。与图 1 中的纯文本版本相比,聊天格式对其中三个模型的效果有所减弱,但对 Qwen2.5-1.5B 或 SmolLM2 来说,这种影响并未完全消除。

最明显的不一致出现在 Qwen2.5-1.5B-Instruct 上。当用语言提问时,它倾向于回答“少于 50%”,即赌徒的回答。但当被要求进行预测时,它却倾向于认为这一趋势会继续。它的回答和概率指向的方向正好相反。

它们能否学习到一个有连续趋势的硬币?

图 3 将模型在每个位置的预期重复率进行平均,并将其与数据实际重复的频率进行对比。一个能够跟踪数据的模型将沿着对角线移动。

模型预期下一次翻转重复的频率(在所有位置上取平均)与数据实际重复频率的对比。线条表示每类模型中四个模型的平均值;带状区域覆盖了最低和最高模型的范围。图片由作者提供。

所有八个模型都朝着正确的方向移动,但没有一个模型移动得足够远。从一个重复率 30% 的硬币到一个重复率 70% 的硬币,真实重复率增加了 0.40。模型的预期重复率增加了 0.09(SmolLM2-1.7B)到 0.22(OLMo-2-1B-Instruct)。因此,它们确实从数据中获取了一些信息,但获取的程度仅为正确程度的五分之一到略多于一半。对于公平的硬币,八个模型的平均值在 0.46 到 0.56 之间。

序列中的位置也非常重要。在前十次翻转中,所有八个模型都倾向于交替:重复的平均概率在 0.37 到 0.47 之间,每次都在 0.5 以下,这与 Bigelow 及其同事在生成序列中发现的交替现象一致 [3]。从第十一次翻转开始,模型恢复了正常,对于 Qwen2.5-1.5B 来说,甚至出现了过冲(在第 21 到第 59 次翻转中,概率为 0.57 到 0.59)。作为合理性检查,在两个答案标记 H 和 T 上的概率在所有设置中都在 0.85 到 0.96 之间,因此这些曲线并不是模型想要表达其他内容的产物。

注意事项

这些是小型的开放模型,最多约有 30 亿个参数。该方法需要精确的下一个标记概率,而大多数托管的前沿模型并未公开这些信息,因此我无法说明最大的聊天模型在内部是如何运作的。这里的一切都是用单个字母表示的硬币翻转;模型在关于篮球运动员或轮盘桌的故事上可能会表现出不同的行为。概率依赖于提示的措辞,这就是为什么我使用了两个标题并打乱了答案选项,而不是依赖于一种措辞。对于多个模型来说,多项选择的结果是不稳定的,因为基础模型和 SmolLM2-Instruct 将大部分概率分配给了除三个字母以外的标记。下面我为长连续趋势效应提供的解释只是一个未经测试的猜测。

我的结论

大型语言模型会陷入赌徒谬误吗?基本上不会,但对于长连续趋势,它们反而会表现出相反的倾向。序列的早期部分显示出轻微的交替倾向,但随着连续趋势的增长,所有八个模型的重复预期都在上升,当翻转次数达到十次或更多时,预期重复概率在 0.60 到 0.82 之间,而正确的概率应为 0.50。告诉模型硬币是公平的,最多只会减少几个点。指令微调对整体影响不大,模型确实能够识别出有连续趋势或交替趋势的硬币,但其识别强度仅为正确强度的一小部分。

我只能猜测其原因。语言模型倾向于延续其上下文中已有的模式,而连续出现的模式是最容易重复的。这使得这种行为更像是复制习惯,而非对硬币的信念,但我并未进行测试,因此将其视为一种假设。

在实践中,词语与概率之间的不匹配更为重要。当被问及时,Qwen2.5-1.5B-Instruct 倾向于给出赌徒的答案;而在预测时,它则倾向于延续。如果你使用小型模型来预测或模拟任何序列,其概率可能会包含关于连续性的先验知识,而这些内容在其书面回答中从未提及。

···

参考文献

[1] Chen, Moskowitz, Shue, 决策中的赌徒谬误:来自庇护所法官、贷款官和棒球裁判的证据 (2016), 《经济学季刊》131(3), 1181–1242

[2] Tversky, Kahneman, 对小数定律的信念 (1971), 《心理公报》76(2), 105–110

[3] Bigelow, Lubana, Dick, Tanaka, Ullman, 随机二进制序列的上下文学习动态 (2023), arXiv:2310.17639

[4] Van Koevering, Kleinberg, 随机性有多随机?评估大语言模型硬币抛掷的随机性和人性 (2024), arXiv:2406.00092

[5] Mondal, Dolamic, Bovet, Cudré-Mauroux, Audiffren, 大语言模型是否表现出认知失调?研究揭示的信念与陈述答案之间的差异 (2024), arXiv:2406.14986