Does Forecasting Have Room At The Top?

预测学还有上升空间吗？——Scott Alexander

预测学还有上升空间吗？

...

Scott Alexander

2026年8月3日

超级预测是一门艺术/科学/运动，旨在预测未来——例如，谁将赢得选举、哪些国家将爆发战争、关键技术何时会被发现。在过去的几年里，它从一个冷门的学术子领域发展成为以预测市场形式存在的数十亿美元产业。最近，AI超级预测者的表现已经接近顶尖人类的准确性，且其表现正在迅速提升。一两年后，我们将看到以下两种情况之一：

要么人类已经接近世界事件可预测性的某种基本极限——在这种情况下，AI的表现将稳定在人类水平或略高于人类水平；要么趋势将持续下去，直到AI远超顶尖人类。以超级智能为类比，第二种情况的自然术语应为“超级预测”；由于该术语已被使用，我们尴尬地称之为“超预测”。

Daniel Reeves 1 在此处提出了情景A的论点。他描述了他于2010年共同撰写的一项研究，发现预测市场在体育比赛和电影票房收入等各类问题上，仅比简单的枯燥统计模型高出3-6%。也许这些统计模型已经接近可能达到的最佳水平；其余部分是数学家所说的偶然不确定性——混沌系统下游无法建模的不可约复杂性。

他可能是对的。本文并非旨在进行决定性的反驳，而是描述为什么我仍然有约70%的可能性预期情景B。

稍微反对Goel、Reeves等人

Reeves的研究声称，2010年的预测市场仅比愚蠢的统计模型高出3%（体育）至6%（电影）。

但这些百分比并不是真实的胜负百分比；它们是根均方误差（RMSE）这一量值的变化。了解这一量值的一种方法是：用于体育的愚蠢统计模型（主场优势+胜负记录）比更愚蠢的统计模型（仅主场优势）提高了0.8个百分点，而预测市场又比第一个（更好的）统计模型提高了0.4个百分点。因此，从统计模型到预测市场的改进效果，仅相当于知道两支参赛队伍及其实力的改进效果的一半！在这一指标上，预测市场相比之前的最先进技术有巨大提升。

预测市场相比统计模型的优势，仅相当于将队伍过往胜负记录纳入统计模型（此前未包含该信息）所带来的优势的一半！（来源：Reeves等人 图2，Claude Fable）

为什么我们可以将这一相同的结果描述为非常小或非常大？

体育运动的设计是为了对抗预测性。如果有一种完全可预测的运动（例如“高度球”，所有运动员排成一行，最高的那个人获胜），没人会去看。相反，我们会采取极端措施来保持结果的不确定性。薪资上限、选秀制度等试图确保所有球队拥有完全相等的天赋。商业激励和天花板效应确保他们接受完全相等的训练。然后，将相同数量的、同样天赋和训练水平的人安排在完全对称的场地上的相同位置，让他们去击球、踢球或投掷一个正好位于两者之间的球。以这种方式描述听起来很可笑，因为显然这是我们想要的（“保持公平”），但所有这些设计都是为了抵抗预测。考虑到这个领域的难度，即使预测能力有非常大的相对提升，在绝对意义上看起来也微不足道。

也许我们应该看看Reeves的另一个例子，即电影票房收入。在这里，市场表现略好一些，获得了6%的提升。但这仍然很低吗？

票房收入相差几个数量级（有些电影收入10万美元，有些则达到1亿美元），因此论文将其放在对数尺度上。在对数尺度上，6%的提升听起来已经相当不错了。

再次，所有问题最终都归结于我们将其与什么进行比较。在这里，超级愚蠢的模型是所有电影都收入810万美元，即平均电影的票房收入。稍微不那么愚蠢的模型则增加了电影上映的屏幕数量和电影的谷歌搜索流量！例如，一部随机的独立电影可能在全国只在三个屏幕上放映，而一部迪士尼大片可能在一万块屏幕上放映。论文给预测市场设定的挑战是：显著提升对电影是独立制作还是迪士尼大片的判断能力，以及了解有多少人对这部电影感兴趣，而且必须在对数尺度上完成！难怪相对提升的数值看起来略显疲软。

我将这一部分总结为：我们不应该期待奇迹，但这并不排除进一步实现正常规模的提升。

将非奇迹规则应用于地缘政治

让我们回到上面看到的图表：

这张图大致基于Metaculus的AI与人类结果：

……这些结果主要涉及地缘政治问题。Reeves的模型能告诉我们什么？

从某种意义上说，它已经被证明不适用。在体育分析中，基准率（对所有问题都猜测50%）与聪明人类（预测市场）之间的差距是0.04个Brier分数点。

但在Metaculus上，基准率与聪明人类（Metaculus Pro Forecasters）之间的差距是0.13个Brier分数点。因此，Metaculus的超级预测者已经消除了比Reeves模型所暗示的3倍更多的不确定性！

我们再次回到体育运动作为独特不可预测领域的观点。举个简单的例子，最容易的体育问题（联盟中最强的球队是否会击败最弱的球队？）可能仍然只有90%对10%（冷门事件会发生）。但最容易的地缘政治问题（例如“美国在下个月轰炸加拿大吗？”）可能轻松达到99%对1%或更高。因此，地缘政治预测者轻松击败Reeves所谓的上限并不令人意外。

如果我们将 Reeves 的模型应用于地缘政治领域，而非简单地移植，会得出什么结论？在这种情况下，我们试图借鉴广泛的经验教训，而非具体数字。我们可能会认为，预测市场在判断今年美国是否会轰炸伊朗方面，比其他最先进的预测方法略胜一筹。但它们也会发现，这种改进的幅度，相比了解其他信息（例如我们讨论的国家是伊朗还是加拿大）来说，相对较低。

是的，这听起来很愚蠢且微不足道，这其实是原始体育比赛结果的推论。同样，到目前为止，我们学到的只是不要期待奇迹。

这里可能还有更有趣的差异。例如，考虑这样一个问题：“到2050年，人工智能是否会取代大多数人类工作？”在这种情况下，如果你是一位真正理解人工智能的超级天才，你可能会预测规模定律是否继续成立，并对通用人工智能（AGI）是否触手可及有清晰的判断。如果你是一位真正理解经济学的超级天才，你可能会建模廉价的人工智能劳动力是人类工作的补充还是替代。因此，这类问题可能与体育比赛正好相反，几乎不存在偶然性不确定性——最聪明的预测者几乎可以掌握所有相关信息。

在本文的其余部分，我们将忽略所有这些因素，并将地缘政治预测视为一种可以轻松用汇总统计数据表示的无结构的混沌。

可能实现非奇迹式进步的锚点

Metaculus 图表上的“非奇迹式”进步会是什么样子？让我们先重新审视上一篇文章中的人工智能与超级预测者图表：

FutureSearch 的 Dan Schwarz 添加了结构化模型：

纵轴的“预测得分”是一个类似 Elo 的指标，其中将 GPT-4 的预测能力固定为零，并有以下参考点（所有数据均为近似值，部分通过草稿计算估算）：

• 完全随机（所有二元问题正确率为 50%）：-20
• 平均人类：0
• 最佳现成人工智能：20
• 众包智慧：25
• 最佳人工智能超级预测者：30
• 专业人类超级预测者：35
• 各类预测市场：25 - 50？
• 世界最佳预测团队在理想条件下：40 - 50
• 完美得分：100

我们如何预测预测的逻辑极限？尽管我们无法令人信服地做到这一点，但为了延续 Cotra 2020 的精神，让我们设定一些“锚点”并看看它们会将我们引向何方。

锚点 1：如果最佳人类 → 人工智能超级预测者的进步幅度与“愚蠢模型 → 预测市场”的进步幅度相同会怎样？

Reeves 的隐含观点是，看似令人兴奋的新技术带来的收益非常有限（在他的研究中，RMSE 的 3-6%）。假设人工智能相对于人类预测者的优越性具有相同的幅度会怎样？

我们可以将 Reeves 的 RMSE 转换为一种称为 Brier 分数的指标，然后将 Brier 分数转换为上述 Metaculus 分数。当我们这样做时，发现人工智能的 Metaculus 分数最多只能达到 56。

锚点 2：如果最佳人类 → 人工智能超级预测者的进步幅度与“专业超级预测者 → Samotsvety”的进步幅度相同会怎样？

在 2010 年，我们可能会猜测 35（“各类专业超级预测者”）接近预测性能的极限。

自那以后，越来越多的人加入预测领域，使我们能够发现表现优于早期明星的超级预测者，社区也开发了一些工具和算法来支持他们的工作。Samotsvety是一支熟练使用优质工具的超级预测者团队，他们始终能够持续击败“普通”超级预测者。如果AI以与Samotsvety击败2010年代SOTA相同幅度战胜Samotsvety，按照Samotsvety自己的（慷慨）计算方式，他们的Metaculus得分最多也只能达到65分。

锚点3：如果最佳人类→AI超级预测者的进步程度与人类→AI国际象棋大师的进步程度相同会怎样？

AI在1997年首次击败人类国际象棋冠军。此后，AI持续改进，现在已经远远超出人类追赶的可能性。

这本身对我们帮助不大。我们想知道顶级人类棋手距离完美棋局有多近。如果人类达到99%，而AI达到99.9%，AI仍然可能每次都能击败人类。

但通过观察让子差距，我们可以将这种差距转化为客观空间。当AI首次击败人类时，其领先优势很脆弱；只需让出一个棋子就能恢复人类的统治地位。此后，AI逐渐进步，现在已经达到2.4个棋子的让子差距。在实现第三个棋子让子差距时进展稍慢于前两个，但差距并不太大，目前还无法确定是否开始出现停滞。

因此，顶级人类棋局表现似乎至少比最优水平差2.4个棋子（我们将其四舍五入为3个棋子，因为我们没有理由认为已经到达平台期11）。如果顶级人类预测者距离逻辑极限还差“三个棋子”会意味着什么？

（一些读者在审阅我的初稿时认为，国际象棋是AI几乎最优的领域——它可以自我对弈数百万次来生成训练数据——而预测要困难得多。我同意这个观点，但认为这在这里并不重要——我们讨论的不是创造超级预测AI的可行性，而是国际象棋能告诉我们顶级人类距离完美表现的程度。）

在国际象棋中，3个棋子的让子差距大约是世界冠军与普通特级大师差距的3倍。如果我们将其四舍五入为Samotsvety与Metaculus专业预测者差距的3倍，那么AI的上限大约是85分。

那又如何？

我们确实对Metaculus同行预测得分做了很多声称，这个数字几乎没人真正关心。我们应期望最大可能的AI能带来多少实际表现提升？

设想一个预测市场，当前预测为50%，由技能水平介于Metaculus专业预测者与Samotsvety之间的玩家主导。假设市场预测的事件确实会发生，这些最大可能的AI平均会有多大的置信度？

得分56：54% 得分65：56% 得分85：62%

因此，这些最大可能的AI将使预测市场的准确性提高4-12个百分点。

这听起来可能令人失望——从50%的可能性提升到54%的可能性，远称不上诺查丹玛斯式的预见能力。但事实上，我对此感到非常兴奋。当我查看Polymarket上我关心的内容时，通常对事件发生的可能性有相当清晰的判断。我不确定Anthropic明年市值是否会超过OpenAI的可能性是55%还是75%，但我知道这不太可能是10%或90%。我访问Polymarket是为了确认这个概率更接近55%还是75%。在这一指标上，即使提升4%，更不用说12%，实际上已经相当令人振奋了。

我发现这些数字比那些陈词滥调的争论更有意思，比如AI或人类是否已达到“上限”，或者“原则上完美预测是不可能的”这类话题。应该不言而喻的是，这个上限一定高于当前水平，即使只是百分之一的小幅提升（例如，因为即使是最好的人类预测者有时也会遇到糟糕的一天）。同样不言而喻的是，即使是最优秀的预测者也无法在所有事情上都达到100%的准确率（因为你可以提出关于量子效应的问题，这些问题在原则上本身就是不可预测的）。现在我们已经证明答案会是某个特定数值，我们可以开始讨论这个数值具体是多少。如果AI带来的提升与过去技术类似，预测市场上的准确率可能在4-12个百分点之间。当然，如果AI的表现远差于或远优于过去技术，这个数值可能完全不同。

大多数人对预测市场中4-12个百分点的提升没有直观感受。我承认有时我会混淆对专业超级预测者估算结果的置信度，和对Samotsvety估算结果的置信度，尽管两者之间的差距相似。也许所有这些都与我们通过切换策略——从目前基于直觉和舞厅相关贿赂做决策，转向倾听市场和预测者在所有12个方面——所带来的潜在收益相比都显得微不足道。

这4-12个百分点只是表面数字。一个在预测市场中提升这么多的预测者，也会在制定良好政策或识别未知风险（例如即使这种风险原本如此远离雷达，以至于没有人想到要为它创建预测市场问题，也能发现类似冠状病毒大流行的风险）方面表现得更好。更聪明的重要问题识别者和更聪明的预测者相结合，将产生比单独使用任何一方更大的优势，而更聪明的政策制定者则可以通过将这些知识转化为实际行动来进一步放大这种优势。

所有这些都让我对AI超级预测者保持兴奋，尽管我不期待奇迹。

感谢Daniel审阅了这篇帖子的初稿并提出了有用的建议。

这项实验在今天是非法的。

Reeves等人在其论文中反对这种解释：

基线模型的判别能力较差，但对RMSE指标的影响却很小，这在一定程度上归因于NFL（例如薪资上限）的特定特征，这些特征确保了大多数比赛都是在实力相近的球队之间进行的，因此比赛结果的概率接近50%。换句话说，尽管基线模型在高概率和低概率事件上的表现较差，但这类事件的相对罕见性意味着这些失败对模型的惩罚并不大。因此，我们可能会怀疑，在那些事件并非设计成抛硬币游戏（如政策分析）的领域，预测最感兴趣的结果可能集中在极端概率事件上，此时判别能力较差的方法表现会比在当前场景中更差。为了验证这一假设，我们仅针对“获胜”球队（过去16场比赛中至少赢了9场）与“失败”球队（过去16场比赛中至少输了9场）之间实力悬殊的配对重新计算了六种预测方法的RMSE。这个子集占数据总量的37%。正如预期的那样，基线模型在这些比赛中的表现更差（RMSE从14.5分增加到15.1分），但TradeSports和Vegas市场、Probability Sports以及胜负模型的RMSE基本保持不变，分别为13.0、13.2、13.4和13.5分。因此，即使对于这些更极端的事件，我们发现预测市场对传统预测方法的优势依然很小。

我不太确定，因为我认为本文后文讨论的地缘政治数据与Reeves的体育数据之间的差异确实表明体育预测的难度更大。

Reeves的论文认为，2010年的预测市场与简单模型相比并没有显著优势。但自那以后，预测市场已经取得了很大发展。我请Claude Code使用现代体育博彩数据（来自Polymarket和Kalshi）重复了这项研究。它声称发现了与Reeves几乎完全相同的结果，这表明即使预测市场规模增长了数量级，进展依然微乎其微。我无法理解它的推理过程，也无法为此背书。

当然，也有一些无聊的例外情况——例如，如果一颗小行星撞击地球并摧毁了人工智能行业。

这显然是一个明显的利益冲突，但他使用的是公开信息，我信任他的判断。感谢Dan审阅了这篇帖子的初稿并提出了有用的建议。

该图表采用对数变换，这意味着从-20到0的进展比从0到+20更真实地反映了预测能力的提升。理论上，这种变换会完全消除我们正在寻找的信号。但大部分变换发生在零以下，而我们不会讨论那个区域，因此我们只能谨慎地继续使用这个系统，而不是将所有数据转换到其他空间。

此外，餐巾计算（粗略估算）越来越依赖AI输入。存在一个轻微的风险，即这篇帖子可能受到AI偏执的影响；我请了一些聪明的人校对了它，但可能他们只是让自己的AI进行了检查。

Samotsvety的Track Record页面上的统计数据表明为50，但Track Record页面本身具有一定的广告性质，尽管他们报告了客观数据，但在选择报告哪些数据时有一定的自由度。一位审阅者建议，在更复杂的现实条件下，这个数字可能更接近40。

巧合和慷慨的四舍五入，而非定义。

Fable似乎极度确信，除非能以某种方式将针对人类大脑的对抗样本编码到棋盘上，否则任何AI都不可能下到能以少一后（相当于8个兵）的劣势获胜的水平。它认为AI的最优策略可能在对人类国际象棋特级大师拥有3到5个兵的优势时达到平台期。Fable未能以我能理解的方式向我解释这一观点，但本人对国际象棋一无所知，因此我的困惑不应被过于重视。

一位拥有少量内部信息但通常判断力良好的评审员指出，AI公司已经在基于未公开的内部模型提供的建议做出战略决策，这在某种程度上令人不安。

上一页

下一页