AI Snake Oil

Fact checking Moravec's paradox

8.5内容质量
Fact checking Moravec's paradox

TL;DR · AI 摘要

Moravec's paradox, often cited in AI discussions, lacks empirical testing and its predictive power is questionable. It fails to accurately gauge AI task difficulty and has led to both alarmism and false comfort.

核心要点

  • Moravec's paradox has never been empirically tested.
  • It lacks predictive power about AI task difficulty.
  • Simplistic predictions have misled AI researchers.

结构提纲

按章节快速跳转。

  1. The essay discusses the validity of Moravec's paradox in AI development.

  2. Moravec's paradox has not been empirically tested, despite its widespread acceptance.

  3. The paradox lacks predictive power regarding AI task difficulty.

  4. Simplistic predictions based on the paradox have misled AI researchers and tech leaders.

思维导图

用一张图看清主题之间的关系。

查看大纲文本(无障碍 / 无 JS 友好)
  • Moravec's Paradox

金句 / Highlights

值得收藏与分享的关键句。

#AI#Moravec's Paradox#Research#Predictions
打开原文

标题:验证莫拉维克悖论

URL 来源:https://www.normaltech.ai/p/fact-checking-moravecs-paradox

发布时间:2026-01-29T22:35:47+00:00

Markdown 内容:

我启动了一个 YouTube 频道,在这个频道里,我从一个普通技术的角度分析人工智能的发展。这篇文章基于我在该频道发布的最新视频,在这个视频中我深入探讨了 莫拉维克悖论,这是一个反复被引用的格言,即对人类来说困难的任务对 AI 来说很容易,反之亦然。

我发现的情况如下:

  • 莫拉维克悖论从未经过实证检验。(许多 AI 研究人员,包括我认识并尊敬的先驱者,经常将其作为事实重复,但这并不意味着我会盲目接受他们的说法!)
  • 它实际上是对 AI 社区认为值得研究的问题的一种陈述,并没有预测哪些问题是 AI 容易解决或难以解决的能力。
  • 它附带了一个进化解释,我认为这非常可疑。(AI 研究人员常常在没有任何神经科学或进化生物学背景的情况下编造关于人脑的东西。)
  • 像莫拉维克悖论这样的思维方式导致了两种极端情况:一方面是对超级智能推理即将来临的恐慌,另一方面是在机器人等领域中的虚假安慰。
  • 为了适应 AI 的进步,我们不需要预测能力突破。由于新能力的扩散需要很长时间,这就给我们提供了足够的时间来应对——而我们往往浪费了这些时间,然后陷入恐慌!

观看完整的论证 在这里 或阅读下面的内容。

每周都会带来新的关于 AI 进展的声明。我们如何知道接下来会发生什么?AI 能否预测犯罪?写获奖小说?入侵关键基础设施?我们终于会有能在家里折叠衣服和装载洗碗机的机器人吗?

AI 的进展对你的工作意味着什么?对社会结构又意味着什么?处理这种不确定性很难。如果只有我们有一种方法可以预测哪些新的 AI 能力将很快被开发出来,哪些能力在未来一段时间内仍然难以实现。

历史上,AI 研究人员对 AI 能力进步的预测相当糟糕。我们并没有真正掌握描述哪些任务对 AI 来说是容易的,哪些任务是困难的原则。

不过,我们确实有一个原则——莫拉维克悖论。它指的是这样一个观察结果:训练计算机完成人们觉得困难的事情,比如数学和逻辑,相对容易;而训练它们完成我们认为简单的事情,比如感知世界或行走,则很困难。

这个观点来自汉斯·莫拉维克于 1988 年出版的《思维的孩子》一书,他是一位——现在也是一位——机器人研究人员。他在书中写道:

在智力测试或国际象棋比赛中表现出成人水平的表现相对容易,但当涉及到感知和移动能力时,让它们达到一岁婴儿的技能水平则困难或不可能。

在人工智能的早期阶段,研究人员专注于国际象棋和其他推理任务,因为这些被认为是其中一些最难的任务,也是使我们成为独特人类的因素。但有趣的是,如果你想建造一个能够击败人类大师的机器人,决定走哪一步是简单的部分。在棋盘上实际做出动作才是困难的部分。如今这一点已经广为人知,因此莫拉维克悖论似乎非常直观。

如果莫拉维克悖论是真的,其影响将是惊人的。如果我们想知道哪些 AI 能力可能会被构建出来,我们只需要看看它们对人类来说有多难。因此,科学研究将会自动化,而折叠衣服等任务将会滞后。

但是这里有个问题——莫拉维克悖论从未被验证过。尽管有数以万计的视频浏览量和 TED 演讲都在重复这一说法。当我深入研究所谓的悖论背后的证据时,我发现了令人惊讶的东西。

在这篇文章中,我将讨论为什么悖论背后的理论和证据是站不住脚的。然后我将解释为什么对 AI 容易或困难的任务的简单化预测误导了 AI 研究人员和技术领导者。这导致了一方面是恐慌主义,另一方面是虚假的安慰。(现在这真是个悖论。)最后,我将回答一个问题:如果我们不能依赖莫拉维克悖论,那么我们应该如何准备应对 AI 的进展及其影响?

我们如何测试莫拉维克悖论?我们可以选取一些现有的任务样本,确定它们对人类来说有多难,对 AI 来说有多难,并绘制出图表。如果我们看到类似这样的东西,悖论就会得到证实。

图像 1
图像 1

一种可能的实证测试莫拉维克悖论的方法

但这里有个问题:我们应该考虑哪些任务来进行我们的分析?当 AI 研究人员说莫拉维克悖论成立时,他们实际上是隐含地限制了他们的关注点,只关注那些在 AI 研究社区中被认为有趣的任务。

有无数的任务对人类和 AI 来说都很简单,但它们并不有趣。一张图片有多亮?如何玩井字游戏?程序员们每天都在解决成千上万个这样的任务,并将它们编码到 AI 系统中,当人们这样做时,他们并不会大肆宣传。

同样,也有无数的任务对人类来说很难,据我们所知,对人工智能也一样难。识别热门歌曲;预测股票价格;破解尚未破译的古代文字;甚至建造戴森球。这些问题如此之难,以至于在这些方面几乎没有进展,尽管其中一些问题吸引了垃圾研究,这些研究往往很快就被揭穿。因此,这些问题也不太会被广泛讨论。

事实上,有成千上万个问题已经被计算机科学家证明是“NP完全”的,这意味着我们有很强的数学理由认为它们将永远对人工智能来说难以解决,因此严肃的人工智能研究人员通常不会去研究它们。他们转而研究这些问题的更简单、近似版本。

图表中的其他两个象限则不同。在左上角,像踢足球这样的任务,对人类来说很容易但目前对人工智能来说却很困难,对人工智能研究人员来说非常有趣。这是因为我们知道可以教会人工智能这些技能,但我们还没有成功做到这一点,这使得它们成为衡量人工智能进展的好测试。

在右下角,对人类来说很难但对人工智能来说却容易的问题,比如搜索网络,也非常有趣。这些能力往往会极大地提高人类的生产力。即使从某种意义上说它们“容易”,行业也在大量投资,以使网络搜索和其他工具尽可能有效、快速且廉价地工作。因此,对这些任务的研究是推动人工智能进步的重要动力。

图像 2
图像 2

莫拉韦茨悖论可能是由于忽略那些对于人类和人工智能来说都太容易或太难的任务而造成的偏差效应。

简而言之,当你考虑所有可能的任务空间时,如果你基本上因为不感兴趣而忽略了2x2矩阵中的两个象限,那么剩下的部分当然会显得两轴之间存在强烈的负相关性。

需要明确的是,人工智能研究人员被莫拉韦茨悖论吸引的原因并不是因为它得到了实证支持。而是因为它附带了一个直观的故事。在他的书中,莫拉韦茨提供了这样的解释:

编码在人类大脑中高度进化的感觉和运动部分中的是一亿年的关于世界本质及其生存方式的经验。我们称之为推理的刻意过程,我相信这只是人类思维的一层薄薄的表皮,只有在得到这种古老且强大的感知和运动知识的支持下才能发挥作用。这些知识通常是无意识的。我们在感知和运动领域都是卓越的奥林匹克运动员,所以我们让困难的事情看起来很简单。抽象思维虽然新,可能不到十万年历史。我们还没有掌握它。它本身并不那么困难;只是当我们做它的时候,它似乎很难。

然后,莫拉韦茨赞扬了像1970年代的STRIPS这样的推理系统,这就是他所说的推理对人工智能来说容易的例子。这些都是纯符号系统,能够解决如何以特定方式将积木堆叠在一起等问题。

但是自STRIPS和其他此类推理程序盛行以来的半个世纪里,人工智能研究人员学到了很多。今天看来,这些系统相当过时。我们学到的是,符号推理只在封闭且极其狭窄的领域(如国际象棋,规则完全指定)中表现良好。当你将其应用于现实世界的问题时,它们变得脆弱且迅速失控。

几十年来,有许多其他推理系统的失败案例,例如IBM的Watson,在狭窄的演示中表现出色,但在尝试将其用于实际环境时却失败了,这些环境可能会偏离它们的训练范围。

如今,人们普遍认识到,在开放性环境中进行推理需要常识知识。但根据莫拉韦茨悖论的信徒的说法,常识属于所谓的“对人类来说容易但对人工智能来说困难”的领域。换句话说,人工智能推理其实并不容易。

果然,能够在开放性领域(如法律或科学研究)中替代人类专业知识的人工智能推理仍然没有解决。

如果我要猜测莫拉韦茨的进化论错在哪里,那可能就是:从进化的角度来看,推理是新的,但它建立在动物大脑在数亿年中学会做的事情之上。这一点莫拉韦茨承认了。但也许没有一个单独的技能叫做“抽象”推理,可以独立于所有这些基础设施学习。

不幸的是,部分是因为人工智能界对推理是一种独立技能且对计算机来说容易的误解,普遍认为人工智能很快将在科学研究、公司运营甚至政府管理等开放性领域超越人类。在我的经验中,许多研究人员倾向于从国际象棋和其他封闭领域的成功推广到这些开放性领域。

因此,AI领导者承诺投入数万亿美元建设数据中心将带来治愈癌症等各种下游好处,而没有停下来思考这些投入如何转化为所需的输出。这也导致他们支持一些极端政策,例如以牺牲人类科学家为代价投资AI科学,以及警告决策者为白领工作的“血雨腥风”做好准备。这也导致了这样的恐惧,即政治家、CEO或军队将领等领导人很快将别无选择,只能将重要决策委托给AI,因为AI在推理方面将变得超人一等。

也许吧……或者这可能都是一个神话。甚至可能根本就没有一种称为推理的通用技能。

也许推理的限制实际上是缺乏验证器。也就是说,与国际象棋中的推理不同,AI在法律推理方面无法变得那么好,因为AI无法编写数百万条法律论据,并立即获得关于哪些论据好、哪些不好的确切反馈,就像AI在国际象棋中变得出色的方式一样。

也许部分原因是现实世界知识的限制。也就是说,AI无法迅速在医学推理方面变得超人一等,因为它受到全球可用医学知识的限制。

换句话说,对人类推理构成限制的因素同样也对AI推理构成限制。在这种观点下,答案与生物学无关。

我的许多写作都基于这样一个想法,即超人级别的AI推理是一个神话。当然,你不必接受这一点。但是当你听到这些关于即将出现超级智能的预测时,了解AI领域内许多人所持有的潜在思维模型是有帮助的。而且知道我们有五六十年的证据表明,AI是否容易掌握某种技能,如推理,很大程度上取决于你谈论的是封闭域还是开放域,这一点非常有用。

现在让我们看看另一面。由于莫拉韦茨悖论,某些AI能力被认为难以实现。最常见的情况是机器人技术。

正如人们所说,我们必须担心推理突破带来的就业损失和安全影响,他们也会说我们不必担心机器人技术突破带来的就业损失和安全风险。这是一个难题,所以改进不会一夜之间发生。

不幸的是,这种安慰是虚假的。我之前关于推理的说法可能是错误的,明天可能会有突破。同样,这些研究人员关于机器人技术的说法可能是错误的,明天也可能会有突破。

事实上,还有一个曾经用来解释莫拉韦茨悖论的“难题”,那就是计算机视觉,但现在不再被提及,这是因为实际上在2012年/2013年确实有了突破,当时AI在物体识别等任务上的表现因深度学习而大幅提升。之所以花了那么长时间,是因为它需要使用GPU,并且使用GPU进行AI的想法大约也是在那时开始的。

深度学习背后的科学思想在1980年代就已经基本确立——在莫拉韦茨发表他的书之前——他只是还不知道而已。

像莫拉韦茨悖论这样的经验法则如此诱人,原因在于我们假设如果有一种AI能力取得突破,就会迅速产生社会效应,比如就业损失,所以我们应该提前做好准备。

但这其实并不正确。即使是突破性技术也需要很长时间才能成功商业化和部署。事实上,突破性技术可能尤其需要很长时间才能部署,因为支持基础设施根本不存在。有一个著名的案例研究说明了为什么电能在工厂中取代蒸汽动力用了40年时间。

以自动驾驶汽车为例。Waymo早在15年前就开始在公共道路上测试它们。

几乎没有理由怀疑这项技术有一天会变得可行,并且会有好的和坏的影响。决策者本应提前准备并弄清楚如何补偿那些可能失去工作的工人。

相反,直到现在这些汽车和卡车已经上路,人们才开始意识到现实情况,并推动诸如禁止自动驾驶汽车的政策。请记住,每年全世界有数百万人死于交通事故,而自动驾驶汽车已经比人类驾驶员更安全。

我在AI方面的作品的一个反复出现的主题是预测的难度——无论是使用AI本身进行预测,还是预测AI能力及其影响的未来。

与其依赖预测,我们应该更好地适应和塑造我们确实确定会到来的技术。放弃这种虚假的安慰,我们可以建立一个更加坚韧的社会。

到目前为止,我已经发布了三个完整的视频,并定期发布短视频。订阅这里