AI existential risk probabilities are (still) too unreliable to inform policy

AI存在风险概率（仍然）过于不可靠，无法指导政策

伪量化如何清洗投机性假设

Arvind Narayanan

和

Sayash Kapoor

2026年9月28日

两年多前我们曾详细解构过p(doom)概念，并论证其主要作用是通过量化外衣清洗模糊的直觉和恐惧。如今这篇论文具有新的现实意义，因为p(doom)的论述正在以前所未有的程度影响公共讨论和政策关注。不出所料，今天对AI存在风险的概率估计与2024年的水平并无本质区别。因此我们重新发布此文。

我们必须明确说明自己并未主张的内容：

• 我们并非声称预测者（或试图量化AI x风险的其他人）有意误导。不幸的是，我们认为这种效果依然具有误导性。

• 一般来说，对预测进行量化是有益的。事实上，Arvind一直担任预测研究研究所纵向专家AI小组的顾问，他认为这是一个极其有价值的项目。正如文章明确指出的，构建有用的量化模型在AI x风险预测领域不可行，但这并不适用于预测领域本身。

• 我们的目标不是试图让AI安全倡导者停止用概率进行沟通（即使我们尝试也未必能成功）。相反，我们希望那些接收这些概率信息的人——尤其是政策制定者——能够认识到，与我们遇到的几乎所有其他量化预测不同，这些概率并非源自经过验证的模型或方法。

话虽如此，我们认为整个p(doom)文化体现了某种特定的AI安全观，这种观点将存在风险和超级智能置于核心位置，实际上对更广泛的安全概念具有破坏性。几天后我们将发表后续文章阐述这一论点，并倡导建立一个"包容性更强"的安全运动。

原文如下：

AI存在风险概率过于不可靠，无法指导政策

鉴于研究者之间缺乏共识，政府应多认真对待AI存在风险的威胁？一方面，存在风险（x风险）本质上必然具有一定的推测性：等到有确凿证据时，可能已经为时已晚。另一方面，政府必须进行优先级排序——毕竟他们不会过于担心外星入侵带来的x风险。

AI安全社区高度依赖预测AI导致人类灭绝的概率（在特定时间范围内）来指导决策和政策制定。例如，几十年内10%的概率估计显然足以让社会将该问题列为首要优先事项。

我们的核心主张是：AI x风险预测过于不可靠，无法用于政策制定，实际上具有高度误导性。

揭开帷幕

如果两个人预测未来十年内外星人登陆地球的概率为80%，你会认真对待这个可能性吗？当然不会。你会要求我们提供证据。尽管这似乎显而易见，但在AI存在风险（x-risk）的讨论中，人们似乎忘记了概率本身并不具有权威性。概率通常来源于某种具体方法，因此我们存在强烈的认知偏差，认为量化风险评估比定性评估更可靠。但概率也可能仅仅是猜测。请在本文中始终牢记这一点（同样适用于AI x-risk的更广泛讨论）。

如果我们预测肯塔基德比的赔率，我们无需向你解释原因——你可以选择接受或拒绝。但如果政策制定者根据预测者提供的概率采取行动，他们必须能够向公众解释这些概率（而这些解释必须来自预测者本身）。正当性是政府合法性和行使权力的核心。自由民主的一个基本原则是，国家不应基于合理人可以拒绝的争议性信念来限制人们的自由。

当考虑的政策成本高昂时，解释尤为重要；而当这些成本在利益相关者之间分配不均时，解释更为关键。一个很好的例子是限制AI模型的开放发布。政府能否说服那些可能从开放模型中获益的个人和公司，为了一个尚不确定的未来风险而做出牺牲？

本文的主要目的是分析在政策辩论中引用的任何具体x-risk概率估计是否存在任何正当理由。我们并不反对将AI x-risk预测作为学术活动，预测可能对企业和其他私人决策者有所帮助。我们仅质疑其在公共政策中的使用。

基本上，预测者只有三种已知方法可以尝试说服怀疑者：归纳法、演绎法和主观概率估计。以下部分将分别讨论这三种方法。所有三种方法都需要双方对世界的基本假设达成一致（这些假设本身无法被证明）。这三种方法的区别在于概率估计如何从这些假设中通过实证和逻辑方式得出。

归纳概率估计因缺乏参考类别而不可靠

大多数风险估计是归纳法：它们基于过去的观察。例如，保险公司会根据类似驾驶员过去事故的数据，预测个人的车祸风险。用于概率估计的观察集合称为参考类别。汽车保险的合适参考类别可能是居住在同一城市的驾驶员集合。如果分析师有关于个人的更多信息，例如年龄或驾驶的汽车类型，参考类别可以进一步细化。

对于AI带来的存在风险，没有参考类别，因为它是一个前所未有的事件。明确地说，这是一个程度问题而非类型问题。永远不存在一个明确的“正确”参考类别，实际选择参考类别取决于分析师的直觉。

预测的准确性取决于所预测事件生成过程与参考类事件生成过程之间的相似程度，这种相似性可以看作是一个光谱范围。对于像抛硬币这样的物理系统结果预测，过往经验是一个高度可靠的指南。接下来，对于汽车事故，风险估计可能根据所使用的过往数据集差异高达20%——这对保险公司来说已经足够。

光谱范围的另一端是地缘政治事件，此时参考类的选择变得更加模糊。预测专家菲利普·泰特洛克解释道：“‘希腊退出欧元区’（Grexit）在2015年之前似乎是一个独特的事件，因为没有国家曾退出欧元区，但它也可以被视作更广泛比较类（如谈判失败）的一个实例，或更狭窄的类别（如国家退出国际协议），甚至更狭窄的类别（如强制货币转换）。”他进一步捍卫了这样一个观点：即使像苏联解体或阿拉伯之春这样的看似黑天鹅事件，也可以被建模为参考类的成员，归纳推理对于这类事件仍然具有实用性。

在泰特洛克的光谱中，这些事件代表了“独特性”的顶峰。就地缘政治事件而言，这可能是事实。但即使是这些事件，其独特性也远不及人工智能导致的灭绝风险。只需看看人们为人工智能存在灭绝风险（AI x-risk）寻找参考类所做的尝试：将动物灭绝（作为人类灭绝的参考类）、过去的全球变革（如工业革命，作为人工智能引发的社会经济变革的参考类），或导致大规模死亡的事故（作为导致全球灾难的事故的参考类）。现实情况是，这些参考类都无法提供任何关于开发超级智能人工智能或失去对这类人工智能控制的可能性的信息，而这正是AI x-risk预测的核心不确定性来源。

总结来说，由于人工智能导致的人类灭绝是一种与过去任何事件都截然不同的结果，我们无法使用归纳方法来“预测”其发生的概率。当然，我们也可以从过去的科技突破和灾难性事件中获得定性见解，但人工智能风险的独特性使得定量估计缺乏政策制定所需的合法性依据。

由于缺乏理论基础，演绎概率估计并不可靠

在柯南·道尔的《六个拿破仑的冒险》中——剧透预警！——夏洛克·福尔摩斯在开始蹲守前就宣布，抓住嫌疑人的概率恰好是三分之二。这似乎令人困惑——人类行为如何能被赋予如此精确的数学概率？

事实证明，福尔摩斯已经推断出了导致嫌疑人看似随机行为的潜在事件序列：嫌疑人正在有条不紊地寻找一颗已知藏在伦敦及周边地区六尊拿破仑半身像中的宝石。细节并不重要，但关键在于，嫌疑人和侦探都不知道这颗宝石究竟藏在六尊半身像中的哪一尊，而嫌疑人所有其他行为（假设）都是完全可以预测的。因此，这种不确定性是可以被精确量化计算的。

关键在于能够建模小行星尺寸（更准确地说是撞击能量）与撞击频率之间的关系。由于我们已经观测到数千次小型撞击事件，可以通过外推法推断出从未被直接观测到的大型撞击事件的频率。我们还可以估算可能导致全球性灾难的临界值。

图：小型小行星撞击数据（左图）可以外推到灭绝级别撞击（右图）。

在人工智能领域，未知因素涉及技术进步和治理，而非物理系统，因此尚不清楚如何用数学方法建模。尽管如此，人们仍然尝试过。例如，为了预测假设性人工通用智能（AGI）的计算需求，一些研究假设人工智能系统所需的计算量大致与人脑相当，并进一步对人脑所需的计算量做出假设。这些假设比小行星建模中涉及的假设要脆弱得多，而且这些假设甚至没有触及失控问题。

主观概率是披着数字外衣的感觉

在缺乏参考类别或理论基础的情况下，预测必然属于“主观概率”，即基于预测者的判断进行的猜测。不出所料，这些预测值可能相差几个数量级。

主观概率估计并不能绕过对概率估计需要归纳或演绎基础的需求。它只是避免了预测者需要解释其估计值的必要性。解释可能很困难，因为人类在解释归纳、演绎或两者结合的直觉推理方面能力有限。本质上，它允许预测者说：“尽管我没有展示我的方法，但你可以因为我的过往记录而信任这个估计”（我们在下一节中将解释为什么即使这样，对于人工智能存在风险预测来说，这种信任也会崩溃）。但最终，缺乏归纳或演绎基础，预测者唯一能做的就是编造一个数字，而这些编造的数字差异极大。

考虑由预测研究所在2022年底举办的“存在风险说服锦标赛”（XPT），我们认为这是迄今为止最详尽且执行最完善的x-风险预测演练。该活动涉及多个预测者群体，包括人工智能专家和预测专家（图中称为“超级预测者”）。对于人工智能专家而言，到2100年AI灭绝风险的高估值（75%分位数）为12%，中位数估计为3%，低估值（25%分位数）为0.25%。对于预测专家而言，即使高估值（75%分位数）也仅为1%，中位数仅为0.38%，低估值（25%分位数）在图表上几乎与零无法区分。换句话说，75%分位数的人工智能专家预测与25%分位数的超级预测者预测之间至少存在100倍的差异。

所有这些估计都来自对该主题有深入专业知识的人，并且他们参与了一场持续数月的锦标赛，试图互相说服！如果这里的预测范围还不够极端，请记住，整个演练是由一个特定时间点的一个小组完成的。如果今天重复举办锦标赛，或者问题表述方式不同，我们可能会得到不同的数字。

最有说服力的是查看预测者提供的理由，这些理由在报告中得到了详细阐述。他们并未使用定量模型，尤其是在思考开发出强大AI后出现糟糕结果的可能性时。大多数预测者进行的推测与日常人们讨论超级智能AI时的推测并无二致。也许AI会通过超人般的说服力让系统操作员接管关键系统。也许AI会试图降低全球温度，因为这有助于计算机运行得更快，但意外地导致人类灭绝。或者也许AI会优先在太空而非地球寻找资源，因此我们无需过于担心。这种推测本身没有问题。但我们需要明确的是，当涉及AI存在风险时，预测者并未依赖任何特殊知识、证据或模型，使得他们的直觉比你、我或任何其他人的直觉更具可信度。

“超级预测”这一术语源自菲利普·泰特洛克（Philip Tetlock）对预测20年的研究（他也是XPT的组织者之一）。超级预测者通常接受过提高预测能力的训练，例如通过整合多样化信息和减少心理偏见。这些方法在地缘政治等领域能够被证明是有效的。但如果缺乏大量有用的证据可供参考，任何程度的训练都无法产生良好的预测。

即使预测者拥有可信的定量模型（他们实际上没有），他们也必须考虑“未知的未知”，即模型本身可能出错的可能性。正如知名x-风险哲学家尼克·博斯特罗姆（Nick Bostrom）所解释的：“我们对风险的一阶评估的不确定性和易错性本身是我们必须纳入所有因素考虑后的概率分配中的一个因素。这一因素在低概率、高后果的风险中往往占主导地位——尤其是那些涉及理解不足的自然现象、复杂的社会动态、新技术，或由于其他原因难以评估的风险。”

这是一个合理的观点，AI存在风险预测者确实非常关注风险评估中的不确定性。但这种关注的一个后果是，对于遵循这一原则的人来说，预测结果注定只能是猜测，而非模型的输出——毕竟，没有任何模型能够估计模型自身出错的概率，或模型出错时可能带来的风险。

在独特或罕见事件中，预测能力无法被衡量

回顾一下，主观的AI风险预测在数量级上差异巨大。但如果我们能衡量预测者的过往记录，或许可以据此判断该信任哪些预测者。与之前两种支持风险评估的方法（归纳和演绎）不同，预测者无需解释其预测依据，而是通过其过去预测其他结果的能力来证明其合理性。

这种方法在地缘政治事件领域已被证明具有重要价值，预测界也投入大量精力进行能力评估。存在多种评估预测能力的方法，例如校准、Brier评分、对数评分，或预测竞赛网站Metaculus上使用的Peer评分。

但无论采用哪种方法，当涉及存在风险时，评估主观概率的预测能力都面临诸多障碍：缺乏参考类别、基础概率极低以及时间跨度漫长。让我们逐一分析这些障碍。

正如参考类别问题困扰预测者一样，它同样影响评估者。让我们回到外星人登陆的例子。假设一位预测者在预测选举方面表现出极高的准确性。假设这位预测者在没有任何证据的情况下宣布，外星人将在一年内登陆地球。尽管该预测者展现出卓越的能力，但这一预测并不会促使我们更新对外星人登陆的信念，因为这与选举预测相差太大，我们不认为该预测者的能力能够推广到其他领域。同样，AI存在风险与任何过去被预测的事件都如此不同，以至于没有任何证据表明预测者具备评估AI存在风险的能力。

即使我们设法解决参考类别问题，其他问题依然存在——尤其是灭绝风险属于“尾部风险”，即由罕见事件引发的风险。假设预测者A认为AI存在风险的概率是1%，预测者B认为是百万分之一。我们应更信任哪位预测者？我们可以查看他们的过往记录。假设我们发现预测者A（曾为AI存在风险分配了1%的概率）有更出色的记录。但这并不意味着我们应该更信任A的预测，因为能力评估对尾部风险的高估不敏感。换句话说，A的整体得分可能更高，因为A在日常事件（这些事件发生概率较高）上的校准略优于B，但A在罕见尾部风险（例如概率为百万分之一的事件）上却可能高估数个数量级。没有任何评分规则能充分惩罚这种类型的误校准。

以下是翻译后的 Markdown 内容：

这里有一个思想实验，可以说明为什么这个结论成立。假设两个预测者 F 和 G 分别预测两组不同的事件，而这两组事件的“真实”概率在 0 到 1 之间均匀分布。我们假设，非常乐观地认为，F 和 G 都知道他们预测的每个事件 e 的真实概率 P[e]。F 总是输出 P[e]，但 G 稍微保守一些，从不预测低于 1% 的值。也就是说，如果 P[e] ≥ 1%，G 输出 P[e]；否则输出 1%。

根据构造，F 是更优秀的预测者。但这种优势是否能从他们的历史记录中体现出来？换句话说，我们需要评估多少次预测，才能有 95% 的把握确定 F 的得分高于 G？使用对数评分规则时，结果大约需要评估一亿次；使用 Brier 评分时，则需要评估一万亿次。2 我们可以对这里的假设提出异议，但关键在于：如果一个预测者系统性地高估了尾部风险，这种偏差在实证层面是根本无法检测到的。

评估预测者在预测 x 风险方面的能力的最后一个障碍是，长期预测需要太长时间才能验证（而灭绝预测当然根本无法验证）。这在理论上可能被克服。研究人员开发了一种称为“互惠评分”（reciprocal scoring）的方法——预测者根据他们预测其他预测者表现的准确性获得奖励——并在一些现实场景中验证了这种方法，例如预测新冠疫情政策的影响。在这些场景中，互惠评分得出的预测效果与传统评分方法相当。这确实合理。但互惠评分并不能解决参考类别问题或尾部风险问题。

到目前为止，我们论证的总结，说明为什么这三种预测方法都无法得出可信的 AI x 风险估计。

风险估计可能被系统性高估的诸多原因

回顾一下，归纳法和演绎法都不奏效，主观预测差异极大，而且没有方法能判断哪些预测更可信。

因此，为了得出可能对政策制定有帮助的更可靠估计，一些研究人员转向了聚合预测方法，即结合多位预测者的预测。一个显著的尝试是 AI Impacts 关于人工智能进展的调查，但该调查因严重的方法论缺陷（包括未响应偏差）而受到批评。更重要的是，尚不清楚为什么聚合预测会提高预测准确性：毕竟，大多数预测者可能共享相同的偏见（而且，他们中没有人有任何依据来进行可靠的预测）。

预测者可能系统性高估 AI x 风险的原因有很多。3 第一个原因是选择偏差。以人工智能研究人员为例：相信人工智能可以改变世界是成为人工智能研究人员的主要动机之一。一旦某人进入这个领域，他们就会置身于一个不断强化这一观点的环境中。如果一个人认为这项技术极其强大，那么认为其改变世界的影响更可能是负面而非正面，这在理性上是完全合理的。

而在人工智能安全子领域——这个领域相对封闭——回音室效应可能达到令人震惊的程度。声称自己具有较高的 p(doom)（即对人工智能灾难概率的估计）似乎已经成为一种表明身份和承诺的信号方式。

在预测专家的选择偏差方面存在一些细微的差异。预测社区与有效利他主义以及对存在性风险（尤其是人工智能风险）的担忧有很强的重叠。这并不意味着个别预测者存在偏见，但较高的p(doom)（灾难概率）可能会让人更倾向于从事预测活动。因此，整个社区很可能偏向于那些对存在性风险感到担忧的人。

预测者擅长根据证据更新自己的信念，但问题在于，与小行星撞击风险不同，当涉及到人工智能存在性风险时，几乎没有证据能显著改变人们的信念。因此，我们怀疑预测结果很大程度上受到人们进入社区时先验信念的影响。XPT报告指出：“在XPT期间，即使在最活跃的参与者中，也很少有人改变观点，尽管有金钱激励去说服他人。”在后续研究中，他们发现许多分歧源于基本世界观的差异，这些差异超出了人工智能的范畴。

再次强调，我们关于偏见的观点仅限于人工智能存在性风险。如果有一个选举预测者社区存在系统性偏见（例如倾向于现任者），那么在几次选举后，通过将预测与现实进行比较，这种偏见会变得显而易见。但就人工智能存在性风险而言，正如我们在上一节中所示，技能评估对尾部风险的高估不敏感。

有趣的是，技能评估对尾部风险的低估极其敏感：如果你对一个实际上发生的罕见事件赋予0的概率，根据对数评分规则，你会受到无限的惩罚，无论你对其他事件预测得多么准确，都无法弥补这一错误。这被认为是使用对数评分的主要优势之一，也是Metaculus采用该评分规则的原因。

现在考虑一个没有精确估计的预测者——毕竟，对于像人工智能存在性风险这样有众多不确定因素的问题，没有预测者能给出精确的估计。鉴于惩罚的不对称性，理性做法是选择其估计范围的高端值。

无论如何，当预测者的估计高度不确定时，他们实际上报告的内容尚不清楚。也许他们不会响应评分函数的激励。毕竟，长期预测不会很快得到验证。回想一下XPT的情况，激励实际上是为了预测彼此的预测，以解决长期时间范围的问题。互评评分论文认为，这将激励预测者提交其真实、高努力的估计，并考虑了对此观点的各种反对意见。该方法的辩护基于两个关键假设：通过付出更多努力，预测者可以更接近真实估计；并且他们没有更好的方法来预测其他预测者的行为。

如果这些假设无法满足会怎样？正如我们在本文中反复强调的，面对AI灭绝风险，我们不应指望证据能改变预测者的先验信念，因此第一个假设本身就值得怀疑。随着XPT第一轮比赛的结束，该赛事公布的中位数估计值已成为一个强有力的锚点（博弈论中的“焦点”概念）。未来，拥有互惠性评分激励的预测者可能会以现有中位数预测为起点，仅对自上次比赛以来新出现的信息进行小幅调整。随着现有估计值成为未来预测的锚点，预测范围可能会逐渐缩小。以上种种曲折的论述其实想表达一个核心观点：可依赖的实际证据越少，群体思维的风险就越高。

警惕帕斯卡赌注：效用最大化带来的危险

为了说明情况，这里列出XPT对AI导致的灭绝风险和次灭绝级灾难性风险的中位数估计：

再次强调，我们的立场是不应过分重视这些数字。它们反映的是不同参与者样本对AI的担忧程度，而非任何实质性内容。

如前所述，预测专家（超级预测者）和AI专家的估计值存在数量级以上的差异。如果非要对这些估计值赋予任何权重，也应优先考虑预测专家而非AI专家的判断。过去研究的一个重要发现是，经过整合多元信息训练并减少心理偏见的预测专家，其表现优于领域专家。然而，正如我们之前所说，即使这些预测也可能存在巨大高估，我们无法确定确切程度。

那么问题究竟有多严重？如果政策制定者认为某一时间段内风险是1%而非0.01%，这又有什么大不了的？无论哪种情况，这个概率看起来都很低！

这取决于他们如何运用这些概率。通常，这些估计只是用来表明某些专家认为风险显著的一种信号方式。如果它们仅仅是这样，那也无可厚非。但目前尚不清楚这种复杂的量化努力是否真的有助于这种信号传递，毕竟不同的人对相同的数字可能有截然不同的解读。

例如，联邦贸易委员会主席琳娜·汗表示，由于她对AI末日的预估概率仅为15%，因此她的观点属于技术乐观主义，这让专家们感到困惑。（顺便说一句，这个数字比我们愿意称为技术乐观主义的数值高出约1000倍。）要在决策中正确处理极小或极大的数字，需要大量的量化训练，而不是简单地将它们归类为“微不足道”。大多数人并未接受过这种训练。

简而言之，目前似乎正在发生这样的现象：专家们模糊的直觉和恐惧被转化为伪精确的数字，然后又被政策制定者重新转化为模糊的直觉和恐惧。让我们停止这种量化表演吧！人工智能安全中心在AI风险声明中对此问题的表述堪称直截了当（当然，我们强烈不同意其内容）。

一种基于原则且定量的决策方法是通过成本效益分析实现效用最大化。其核心思想很简单：如果我们认为某个结果具有主观价值或效用 $ U $（可以是正数或负数），且该结果发生的概率为 10%，我们可以将其视为必然发生且价值为 $ 0.1 \times U $。随后，我们可以对每个选项的成本和收益进行加总，并选择使成本减去收益（即“期望效用”）最大化的一项。

问题由此变得复杂起来。首先，一些人可能认为灭绝具有难以想象的巨大负面价值，因为这会排除未来所有可能诞生的人类生命（无论是物理的还是模拟的）。逻辑结论是，x 风险应始终是每个人最优先考虑的问题！这让人联想到帕斯卡赌注（Pascal’s wager）——一个论证：即使上帝存在的概率微乎其微，由于不信教的代价是无限的（永恒的地狱与永恒的幸福相对），因此相信上帝是理性的。幸运的是，政策制定者通常不会过于重视涉及无限值的决策框架。但这一理念已深深影响了人工智能安全领域，促使一些人坚信 AI x 风险应成为社会的首要优先事项。

即使我们仅限于灾难性但非灭绝性风险，涉及的也是数十亿生命。因此，即使 1% 的风险预期成本也极高，政策影响将极为剧烈——政府应大幅增加对 AI x 风险缓解的投入，并考虑采取极端措施，例如停止人工智能开发。这正是为什么理解这些估计缺乏任何方法论支撑如此关键。基于如此有限的证据做出改变世界的政策决策将是极其不明智的。

里程碑预测面临结果模糊性问题

预测在人工智能政策中是否有作用？我们认为有——但不应用于预测灭绝风险。预测人工智能里程碑（如特定能力基准的性能或经济影响）更为可行且有意义。如果预测者已展现出预测各类人工智能里程碑时间的能力，这确实能证明其未来表现将更可靠。我们不再讨论独特或罕见事件。在考虑低风险政策干预时（例如为潜在经济冲击做准备，而非阻止致命机器人），预测无需让所有理性人士都信服。

预测社区投入大量精力用于里程碑预测。在 Metaculus 平台上，“到 2040 年前人类与机器智能是否达到平衡？”这一问题基于 1300 多名预测者的综合预测结果为 96%。这非常惊人！如果我们认同这一预测，我们将支持“安全过渡到通用人工智能（AGI）应成为全球优先事项”的立场。为什么我们没有这么做？

答案在于细节之处。对于像AGI这样模糊概念的定义，目前尚未达成共识。即使我们固定了某个定义，判断是否已实现也可能非常困难甚至不可能。为了有效预测，避免模糊的预测结果至关重要。预测社区通常通过定义相对狭窄的技能（如考试表现）来应对这一问题。

Metaculus智能平等问题的定义基于数学、物理和计算机科学研究生考试的表现。根据这一定义，我们确实同意96%的预测结果。但我们认为该定义过于宽泛，对政策制定几乎没有实际意义。别提存在性风险了——正如我们之前所写，AI在考试中的表现缺乏构念效度，甚至无法预测AI是否会取代工人。

其他基准也并不更好。简而言之，预测AI能力时间线之所以困难，是因为基准与现实影响之间存在巨大差距。幸运的是，能够反映现实世界重要任务的更好基准正在被开发。除了基准测试，我们还需要自然主义评估，即使这会增加成本。一种自然主义评估方式是衡量人们在AI辅助下如何不同地完成工作。直接预测经济、社会或政治影响（如劳动力市场转型或军队在AI相关方面的支出）可能更有用，尽管这些影响更难明确界定和衡量。

结论性思考

避免在政策中误用概率的责任在于政策制定者。我们并不是呼吁预测者停止发布预测，以“保护”政策制定者免受误导。话虽如此，我们认为预测应附带对所使用过程和考虑证据的清晰解释。这将使政策制定者能够判断所提供的理由是否符合他们接受的门槛。XPT是透明度的良好范例，本文也是如此（尽管本文不涉及x风险）。另一方面，简单地调查一批研究人员并呈现汇总数据是误导性的，政策制定者应忽略此类信息。

那么政府应该如何应对AI的x风险？我们的观点并不是政府应该无所作为。但政府应拒绝那些在将x风险视为紧迫且严重时看似有说服力的政策，特别是限制AI发展的政策。正如我们将在本系列的未来文章中所论证的，不仅这些政策没有必要，它们很可能会增加x风险。相反，政府应采用与AI风险的各种可能估计相兼容的政策，并且即使风险微乎其微，这些政策总体上也有助益。幸运的是，这样的政策确实存在。政府还应改变政策制定流程，使其更能响应新证据。关于所有这些内容，我们稍后将提供更多细节。

#### 进一步阅读

• XPT报告的标题是《预测存在性风险：长期预测竞赛的证据》。

• Tetlock和Gardner的著作《超级预测》总结了Tetlock、Barbara Mellers等人的研究。

• Scott Alexander 批驳了“为独特事件分配概率在原则上存在缺陷”的说法（我们基本同意）。我们的论点与他所针对的观点存在两个关键差异。我们讨论的不是一般意义上的预测，而是其在政策制定中的应用。我们并不在原则上反对预测。我们的论点是经验性的：AI 灭绝风险预测极其不可靠且缺乏依据。理论上这在未来可能会改变，但我们现在并不抱太大希望。

• Friedman 和 Zuckhauser 的一篇论文解释了为何概率并非全部故事：两个风险估计相同的预测可能对政策制定者产生截然不同的影响。在我们看来，AI 灭绝风险预测在信心的三个维度中有两个表现不佳：基于证据的坚实基础以及合理意见范围的狭窄性。

• 我们普林斯顿 CITP 的同事 Shazeda Ahmed 领导的论文解释了 AI 安全的“知识生产与社区建设交织的社交结构”。这有助于理解为何预测等实践已成为 AI 安全社区形成信念的支柱，而非以同行评审为核心的更广泛科学界。当然，我们不应仅仅因为某观点不符合科学正统就拒绝它。但同时，我们也不应盲目接受自封的 AI 安全社区对 AI 安全的看法。重要的是要认识到，AI 安全社区的中位成员对 AI 安全持特定立场——这一立场存在高度争议，在我们看来也相当过于恐慌。

• 我们已广泛撰写了基于证据的 AI 安全相关内容。我们最知名的工作包括论文《AI 安全不是模型属性》以及题为《开放基础模型的社会影响》的论文，该论文是大型合作的成果。

致谢。我们感谢 Benjamin Edelman、Ezra Karger、Matt Salganik 和 Ollie Stephenson 对初稿的反馈。这一系列文章基于一篇即将发表的论文，该论文受益于许多人的反馈，包括 Seth Lazar 和澳大利亚国立大学 MINT 实验室的成员、普林斯顿大学《预测局限性》课程的学生、Shazeda Ahmed 以及 Zachary Siegel。

具体而言，通过使用核武器试验数据并做出几个基于物理的假设，我们可以计算出需要多少灰尘才能持续遮蔽天空并导致全球农业崩溃。

假设保守的预测者G对其预测设定了一个下限ϵ（在我们的例子中为0.01）。在所有事件中，只有占比为ϵ的事件中，两位预测者之间的差异才具有实际意义。即使仅考虑真实概率低于ϵ的事件集合，一些计算表明，F的预期对数评分仅比G略优，差距为O(ϵ)；而使用Brier评分时，差距为O(ϵ²)。因此在考虑所有事件时，预期评分的差异分别为O(ϵ²)和O(ϵ³)。与此同时，两种评分函数的得分方差都约为0.1。要确信两个预测者的得分均值存在显著差异，需要事件数量N足够大，使得均值差异的标准差sqrt(0.1/N)远小于预期差异。因此对数评分需要N ~ O(1/ϵ⁴)，Brier评分需要N ~ O(1/ϵ⁶)。

当然，预测者可能低估风险的原因还有很多。我们认为这些原因说服力较弱，更重要的是，这些因素超出了本次讨论的范围。原因很简单：当前为政府实施限制自由的政策辩护时，所依据的是高x风险估计。因此，举证责任是不对称的。主张此类政策的人必须证明其概率估计的合理性，包括回应关于向上偏差的担忧。如果在某个奇怪的未来世界中，有人基于低x风险估计倡导限制性政策，那么对潜在低估风险的审查将变得同样重要。

在预测理论中，对数评分和其他所谓的正确评分规则在数学上能够引出预测者的"真实信念"。但正确评分规则的定义假设真实信念是一个单一值，而实际上它往往是一个广泛范围。在这种情况下，预测者有动机报告其分布的均值，而我们直觉上理解的"真实信念"可能更符合中位数。

Previous