Your Six AI Models Are Really Two: The Math of Correlated Mistakes

你的六个AI模型其实只有两个：相关错误的数学原理 | Towards Data Science

大型语言模型

你的六个AI模型其实只有两个：相关错误的数学原理

向多个模型提出相同的问题，进行投票，结果得到的独立意见却少于你支付的费用。一个公式能说明实际获得的独立意见数量，我已在六个开源模型和1500道考试题上验证过这一公式。

Utkarsh Mangal

2026年10月23日

14分钟阅读

在Google上关注我们

分享

作者提供的图片。

2026年10月9日，Vals AI发布了一项测试，评估编码代理团队是否物有所值[1]。他们让GPT 6 Sol和Claude Opus 5.5根据规格构建50个网页应用，每个模型单独工作，以及作为团队协作（由主代理将构建任务分配给子代理），分别在中等和最大推理努力下完成。团队成本是单个模型的1.8到5.1倍。在四次团队与单人对比中，只有一次具有统计显著性：中等努力下的Sol模型，提升了7.3分。对于Sol模型，将单个代理的推理努力从中等提升到最大，得分增加了11.4分，这比团队在中等努力下增加的7.3分更多[1]。

这项研究关注的是任务拆分，因此并未直接说明代理是否会犯相同错误。但它引发了一个数学家可以解决的问题：当你增加一个模型参与投票时，实际新增了多少独立意见？

计划是分析投票承诺的内涵，模拟其可能的失效方式，建立失效公式，然后在六个真实模型上进行测量。

投票应带来的好处

经典答案是1785年提出的孔多塞陪审团定理[2]。假设每个投票者正确的概率为p > 1/2且投票者相互独立。k个投票者中多数正确的概率为：

P(majority right) = ∑_{j=⌊k/2⌋+1}^k C(k,j) p^j (1-p)^{k-j}

随着k增大，该概率趋近于1。当p=0.7时，三个投票者正确概率为78.4%，五个为83.7%，九个为90.1%，二十五个为98.3%。

图1展示了三个不同个体准确度水平下的公式曲线。

独立投票者中多数正确的概率，按投票人数和个体准确度划分。作者提供的图片。

该段落中的每个数据都依赖于"独立"这个词。两个犯相同错误的模型之间实际上只投了一票，无论选票数量如何显示。

关键问题：使用相同笔记学习的朋友

想象向五个朋友提问一个冷知识问题并采用多数意见。如果他们掌握不同知识，一个朋友的错误猜测很可能被其他人否决。现在假设五个朋友都使用了包含错误的相同笔记，所有人都重复了这个错误，此时多数意见会完全错误。五个人，一个来源，只投了一票。

语言模型不是朋友，但这种担忧依然适用。基于重叠文本训练且设计相似的模型可能共享盲点。是否真的存在这种现象是一个经验问题，也是本文要测量的内容。

小规模模拟

要观察差异，我模拟了两个包含五个模型的面板。每个模型的正确率均为70%。在第一个面板中，每个模型的错误出现在问题上时彼此独立。在第二个面板中，错误存在重叠：某些问题对所有模型都困难，因此模型们倾向于在这些问题上同时失败。图2展示了每个面板的40个问题。每一行代表一个模型，每一列代表一个问题，橙色表示错误。最后一行是多数投票结果。

两个模拟的五模型面板，每个模型正确率均为70%。左图：错误独立发生。右图：错误重叠。橙色表示错误。图片由作者提供

每个模型在两个面板中表现相同。但多数投票结果不同。在错误独立的情况下，其正确率为83.8%，与康多塞公式预测的83.7%一致。在错误重叠的情况下，其正确率为74.4%。超过九个百分点的准确性消失，且面板的有效意见数少于成员数量：第一种情况有5.0个有效投票，第二种情况仅有2.2个。下一节将解释这两个数字的来源。

从图像到数值

图像本身不是测量，因此这里介绍标准的量化方法。对于每个模型和每个问题，如果模型答错则记录1，答对则记录0。两列数据之间的相关性称为phi系数，记作φ。当两个模型的错误无关时，φ为0；当它们在完全相同的问题上失败时，φ为1。

假设k个投票者，其错误指示器E₁到E_k的方差均为σ²，且每对投票者之间的相关性均为φ。其平均错误的方差为：

Var(1/k∑_{i=1}^k E_i) = σ²/k [1 + (k-1)φ]

独立投票者的情况下，n个投票者的方差为σ²/n，因此定义有效投票数为满足以下等式的n：

n_eff = k / [1 + (k-1)φ]

当φ=0时，n_eff=k，每个投票者都具有同等权重。随着k增大，n_eff趋向于1/φ并保持稳定。当φ=0.3时，七个模型仅相当于2.5个投票，无论增加多少类似模型，其价值都不会超过3.3。调查统计学家在处理聚类样本时使用相同的计算方式，其中1 + (k-1)φ被称为Kish提出的设计效应[3]。

给定相关性的价值

该公式易于应用，因此以查找表形式呈现。行表示平均错误相关性，列表示模型数量，每个单元格表示有效投票数。最后一列是任何数量额外模型都无法突破的上限。

平均错误相关性 | 3个模型 | 5个模型 | 10个模型 | 上限 ---|---|---|---|--- 0.05 | 2.7 | 4.2 | 6.9 | 20 0.1 | 2.5 | 3.6 | 5.3 | 10 0.2 | 2.1 | 2.8 | 5 | 0.5 0.3 | 1.9 | 2.3 | 3.3 | 0.5 0.5 | 1.5 | 1.7 | 1.8 | 0.5

0.3的相关性看似 modest，却使十个模型的表现相当于不到三个模型。在上述模拟中，重叠面板的平均相关性为0.31，使其五个模型仅相当于2.2个有效投票。

图3以曲线形式绘制了相同的表格。每条曲线都向其上限弯曲，且相关性越高，曲线越早趋于平缓。

四种错误相关性下有效投票与模型数量的关系。虚线标记每个上限。图片由作者提供

已经测量的内容

两篇近期论文在语言模型上测量了这一指标。Kim等人比较了350多个模型，发现在一个排行榜数据集中，当两个模型都错误时，它们有60%的时间达成一致，且更大更精确的模型即使在不同开发者之间也会出现高度相关的错误[4]。Kohli使用Kish有效样本量测量了LLM评委小组，发现来自七个家族的九个前沿模型在自然语言推理任务中携带了大约两个独立投票量的信息[5]。最近的一篇文章在300个句子对上重复了这一测量，结果落在Kohli的范围内[6]。

我想要一个任何人都可以重新运行并获得相同数值（浮点误差范围内）的版本，因此我使用了开源模型，并将它们的答案读取为概率而非采样。我还添加了一个控制偏倚的措施：每个模型都会获得自己独立的选项随机顺序。

实验设置

图4在细节之前展示了整个实验的全貌。

考试内容

测试使用MMLU，这是一个包含57个主题的多选题测试，涵盖从基础数学到法律的内容[7]。我从各主题中均匀抽取了1500个问题，并排除了选项之间相互引用的问题（如"以上全部"），因为打乱选项顺序会破坏这些题目的完整性。

模型

评审小组包含来自五个开发者的六款开源模型，参数量在30亿到40亿之间（表1）。我原本计划包含Llama 3.2 3B，但其受控下载失败，因此未纳入评审。开源权重使我能够直接读取精确概率而非进行答案采样。

非采样答案读取

每个模型获得标准的五次提示MMLU提示（约3.5%的问题需要3-4个示例以适应2048个token的限制），我读取模型分配给A、B、C或D选项的下一个token概率。主实验中没有任何采样过程，因此重新运行应能得到相同答案（近似平局时的浮点误差除外）。两个选项的精确平局极为罕见，此时会将答案归于较早的选项。

去除字母偏倚

一个细节的重要性被其外观所掩盖。早期研究发现LLM倾向于特定选项字母，主要是因为模型先验地为某些字母分配了更高概率[8]。两个都偏向A选项的模型会因无关知识而对错误答案达成一致。为消除这种影响，每个模型看到的题目选项顺序都是独立随机的，我将其答案映射回原始选项后再进行比较。我测试的最弱模型展示了这种处理的必要性：AI2的10亿参数模型有74%的答案落在A或B选项，尽管正确答案在各字母间是等概率分布的。作为对照，我也让所有模型在原始顺序下运行过。

该函数执行四项操作。它标记所有错误答案，对每对模型的标记结果进行关联分析，计算每对模型的关联度平均值，并将该平均值代入公式。其他所有操作（如提示词、选项洗牌、自助法区间）都是围绕这一核心流程的辅助工作。

他们一起失败的频率有多高？

表1. 在1,500个MMLU问题上的准确率，每个模型均使用其随机排列的选项顺序。区间为95%威尔逊区间。最后一行因得分低于50%未包含在面板分析中。

| 模型 | 开发者 | 准确率 | 95%区间 | |------|--------|--------|---------| | Qwen3-4B | Qwen | 72.7% | 70.4%至74.9% | | Phi-4-mini-instruct | Microsoft | 67.5% | 65.1%至69.8% | | Qwen2.5-3B-Instruct | Qwen | 67.3% | 64.9%至69.6% | | Granite 4.1 3B | IBM | 66.5% | 64.0%至68.8% | | SmolLM3-3B | Hugging Face | 60.9% | 58.4%至63.3% | | Falcon3-3B-Instruct | TII | 58.3% | 55.8%至60.7% | | OLMo-2-0425-1B-Instruct | AI2 | 40.0% | 37.5%至42.5% |

面板中最准确的模型得分为72.7%，最不准确的模型得分为58.3%，而随机猜测的准确率在四选一情况下为25%。图5是面板的"座位表"：每个单元格代表一对模型，颜色越深表示这两者在相同问题上出错的频率越高。

每对模型的错误相关性（φ）。颜色越深表示两者在相同问题上出错的频率越高。作者图片

平均成对错误相关性（记作φ ˉ \bar{\varphi} φ ˉ ​ ）为0.41（95%自助法区间0.39至0.44），其中0表示错误之间无关联。没有任何一对模型的相关性接近0：所有15对模型的相关性均在0.33至0.48之间。来自同一开发者的模型对（Qwen2.5和Qwen3）相关性为0.45，而来自不同开发者的14对模型平均相关性为0.41。当两个模型同时出错时，它们选择相同错误答案的概率为59%，接近Kim等人在某个排行榜数据集上报告的60% [4]。如果错误答案是完全随机的，那么两者选择相同错误答案的概率约为三分之一。

面板总共投了多少票？

将φ ˉ \bar{\varphi} φ ˉ ​ 代入公式后，六个模型相当于n e f f = 1.96 n_{\mathrm{eff}} = 1.96 n eff ​ = 1.96个独立投票（95%区间1.88至2.04）。另一种不假设每对模型相关性相同的估算方法（k除以相关矩阵的最大特征值）也得出1.96的结果。图6显示了不同面板规模对应的n e f f n_{\mathrm{eff}} n eff ​ ，虚线表示上限1 / φ ˉ 1/\bar{\varphi} 1/ φ ˉ ​ = 2.4。每增加一个模型，其贡献的有效投票数都比前一个模型少：从1个模型增加到2个模型时增加了0.4个有效投票，而从5个模型增加到6个模型时仅增加了0.07个。

独立投票的有效数量与模型数量的关系。虚线对角线表示独立投票者的表现。作者图片

只有当投票能改变答案时，投票才有意义。因此我也进行了投票测试。对于每个可能的面板规模，我取最常见答案并将其准确率与相同个体准确率的独立投票者得分进行比较。我精确计算了这个基准线，假设错误投票者在三个错误选项中均匀随机选择，并使用奇数规模的面板以避免平票模糊画面。

多数投票准确率与面板规模的关系，与独立投票者（虚线）和仅共享题目难度的版本（点线）的对比。作者图片

当有5个模型时，独立投票的基准线准确率为87.1%，而实际投票得分71.2%（95%区间69.2%至73.2%），差距约为16个百分点。所有六个模型联合投票得分71.8%，而独立投票者得分90.3%。

最佳单模型Qwen3-4B得分为72.7%，在57种可能的2至6模型组合中，当每个模型仅投一票时，没有组合能超越它。表现最佳的组合是3个模型，与Qwen3-4B在1500个问题中1091个问题上达成平局。

仅统计每个模型的首选答案会丢失信息，因此我也尝试对模型的概率进行平均。效果更优：6个模型联合达到73.8%，比Qwen3-4B高出1.1个百分点（95%置信区间为-0.8至3.0），而57种组合中表现最佳的后验组合达到74.1%。这两个结果与最佳单模型表现无显著差异，且都远低于独立投票者能达到的90%正确率。

6个模型在35.8%的问题上达成一致，当意见一致时，错误率高达5.8%（537个问题中31个错误）。独立投票者仅在7.8%的问题上达成一致，且一致时错误率仅为0.008%。6个模型在112个问题（7.5%）上全部答错，而具有相同准确率的独立投票者仅会在约2个问题上出现同样错误。

共享错误的来源

部分相关性并不令人意外。对所有模型而言，难度较高的主题都会导致错误，仅这一点就产生了相关性错误。为验证影响程度，我将每个模型在各主题内的结果进行了随机洗牌，保持每个模型在每个主题的准确率不变，但破坏了对单个问题的一致性。仅保留主题难度因素后，平均错误相关性从0.41降至0.09，说明主题难度约占相关性的五分之一，其余大部分相关性仍源于单个问题层面。

图8将这种情况与字母偏倚对照展示。共享选项顺序时平均相关性为0.45，而每个模型使用独立随机顺序时为0.41。这两组柱状图的差距（约0.04）即为共享选项顺序带来的影响，配对自举法显示该差异在0.02至0.06之间。在模型组内字母偏好较弱：没有任何模型将超过30%的答案集中在某个字母上（均匀分布为25%）。

共享选项顺序下的平均模型间错误相关性、各模型独立随机顺序下的相关性、仅共享主题难度下的相关性，以及独立投票者相关性。图像由作者提供

这种方法无法区分共享盲区与普遍难题，因为两者在表现上都类似多个模型在相同问题上失败。基准测试本身也引入了噪声：估计有6.49%的MMLU问题存在错误[9]，错误答案键会使所有知道正确答案的模型都被标记为错误。

如果多次询问同一个模型会怎样？

自洽方法会从单个模型中采样多个答案并保留最常见答案[10]。一种低成本替代方案是：从每个模型的概率分布中多次抽取答案选项并进行投票。图9将这种方法与跨模型投票进行了对比。

不同模型及重复采样单模型的有效投票数（左）和单次投票准确率提升（右）。图像由作者提供

一个模型的六个样本平均相当于1.4个有效投票（范围1.3到1.7），而八个样本相当于1.5个投票，相比之下六个不同模型的投票值为2.0。准确性提升也印证了这一结论。一个模型的五个样本投票相比单个样本的预期准确性平均提升2.2分（范围1.3到3.6），而五个不同模型的投票则平均提升5.7分。图9右侧面板展示的是提升幅度而非绝对准确性数值，因为抽样答案的准确性通常低于模型的最佳选择，否则两条曲线将从不同起点开始。

从概率分布中抽取的字母并不等同于抽样推理路径，真实自洽性样本确实会进行推理路径的探索。这种比较对真实自洽性效果的评估意义有限，它仅说明在相同直接读取方式下，两种投票来源的差异。

这对代理团队意味着什么与不意味着什么

Vals测试了将任务拆分执行的团队[1]，而我测试了使用小型开放模型在多项选择考试中回答相同问题的投票者。这些研究结果不能直接用于评估代理团队。可以借鉴的是数学规律：每个投票的价值取决于其背后的独立信息量，而这一数值可以在任何记录了模型错误的标注数据集上计算。

如果你组建了一个评审团或相互检查工作的代理团队，在添加新成员前，应先在几百个已知答案的项目上计算φ ˉ \bar{\varphi} φ ˉ ​。来自不同开发者的新型模型并不会自动产生新观点。在这个评审团中，更换开发者仅略微降低了错误相关性（同一开发者组合为0.45，跨开发者平均为0.41），且所有模型组合的相关性均未低于0.33。单一开发者组合的样本量过少，无法推断这一现象的普遍性。上限值1 / φ ˉ 1/\bar{\varphi} 1/ φ ˉ ​也指明了何时应停止增加投票者，转而添加其他要素：工具调用、检索步骤、可实际执行的测试或人工判断。

通过API提供的前沿模型、用推理链替代字母概率的方案，以及人工复核的MMLU子集[9]，都会以我无法从本次实验预测的方式改变这些数值。

统计模型数量很容易，但统计这些模型以不同方式出错的数量则需要一个相关性矩阵，这在下一个模型加入评审团前就值得计算。

···

参考文献

[1] Katrina Drozdov, Do Agent Teams Pay Off? A Case Study on Vibe Code Bench (2026), Vals AI. https://www.vals.ai/blogs/multi-agent-vibe-code-bench

[2] Marquis de Condorcet, Essai sur l'application de l'analyse à la probabilité des décisions rendues à la pluralité des voix (1785), Imprimerie Royale

[3] Leslie Kish, Survey Sampling (1965), John Wiley & Sons

[4] Elliot Myunghoon Kim, Avi Garg, Kenny Peng, Nikhil Garg, Correlated Errors in Large Language Models (2025), ICML 2025. https://arxiv.org/abs/2506.07962

[5] Guneet Kohli, Nine Judges, Two Effective Votes: Correlated Errors Undermine LLM Evaluation Panels (2026), arXiv. https://arxiv.org/abs/2605.29800

[6] David J. Knudson, My Four AI Judges Were Worth 1.6 Votes (2026), Level Up Coding. https://levelup.gitconnected.com/my-four-ai-judges-were-worth-1-6-votes-96a84e337405

[7] Dan Hendrycks, Collin Burns, Steven Basart, Andy Zou, Mantas Mazeika, Dawn Song, Jacob Steinhardt, Measuring Massive Multitask Language Understanding (2021), ICLR 2021. https://arxiv.org/abs/2009.03300 ( MIT license )

[8] 郑楚杰, 周浩, 孟凡东, 周杰, 黄敏丽, 大型语言模型并非稳健的多项选择器 (2024), ICLR 2024. https://arxiv.org/abs/2309.03882

[9] Aryo Pradipta Gema 等, 我们是否已经完成MMLU评估？(2025), NAACL 2025. https://arxiv.org/abs/2406.04127

[10] 王学之 等, 自洽性提升语言模型的思维链推理能力 (2023), ICLR 2023. https://arxiv.org/abs/2203.11171