What will be left for us to work on?

我们未来还有哪些工作要做？ - Arvind Narayanan

我们未来还有哪些工作要做？

我在ICML 2026的主旨演讲

Arvind Narayanan

2026年7月13日

上周我有幸在首尔举办的国际机器学习大会上发表了题为《我们未来还有哪些工作要做？》的主旨演讲。我探讨了AI能力增强背景下，我们该如何适应的普遍焦虑。我对演讲的反响感到非常欣喜，因此在此分享了我的幻灯片，并附上了经过轻微编辑的演讲稿。您也可以在本页面右侧直接查看这些幻灯片，但在线版本包含动画效果、可点击链接以及更优质的观看体验。

我提出了三个论点。首先，除非出现诸如递归自我改进等未来重大突破，否则将AI视为正常技术的框架是正确且有用的思考方式。其次，尽管我们应认真对待递归自我改进的可能性，但实验室中任何可能突然使我们失业的里程碑式成果都不存在。最后，未来的工作将发生根本性变化，需要大量适应。我分享了我对这种变化可能呈现形式的思考，并以人类/AI“协同超级智能”的愿景作为结尾。

如今是AI领域令人振奋的时刻，但也是AI社区充满焦虑的时刻。我想直接面对这种焦虑。我们该如何为一个AI将能够完成我们今天越来越多工作的未来做准备？

我在普林斯顿大学领导的团队正致力于推进AI代理评估的科学研究。我们试图超越“看，基准测试上的能力在提升！”这类常见说法。这些说法往往被公众误解为暗示代理即将取代我们的所有工作。

也许确实会发生这种情况。但在我们的工作中，我们试图理解影响实际部署的除能力之外的因素，并将这些理解纳入评估体系。

我更为人所知的工作是与Sayash Kapoor合著的论文《将AI视为正常技术》。这是一种思考AI中期未来及其适应方式的方法——以及如何将AI适应社会和经济需求。

因此，我们一直在撰写这些文章，探讨律师或记者应如何适应。但颇具讽刺意味的是，适应的问题首先冲击了我们自己的社区。无论是软件工程还是AI研究本身，这些领域的AI能力当然在迅速发展。

我们对这一时刻的回应不仅影响我们社区。全世界都在关注。如果我们简单地屈服并接受未来大量工作将由AI完成，而不是设定明确的界限，我认为这将引发比我们今天看到的更强烈的AI政治反弹。因此，我认为这个问题不仅关乎我们，也关乎全世界。

从AI诞生之初，历史上就存在这两种相互竞争的叙事。过去，这种区别是学术和哲学层面的，但现在已成为一个迫切的现实问题。我们必须决定自己属于哪个阵营，或在光谱上的哪个位置，因为相信其中一种叙事与另一种叙事的现实后果差异极大。

如果你认为这是一种未来几年内能够取代我们今天所做一切的技术，那么或许正确的应对方式是尽快积累财富，以免我们的技能变得无关紧要。这正是许多硅谷人士选择的道路。你可能听说过“永久底层阶级”这一概念。

另一方面，如果你像我一样相信，这是一项将极大增强我们潜力的技术，那么现在正是培养技能的最佳时机——尤其是那些能够与AI当前及未来能力形成互补的技能，同时也要构建围绕AI的其他要素，如自主性、品味和判断力。

如果你选择了第一条道路，而结果证明AI实际上是一种增强技术而非替代技术，那么我认为在接下来的几年里，你可能错过了历史上最佳的时机来培养赋予我们超能力的技能。这就是为什么我们每个人都需要思考这个问题，即使我们最终不会走向相同的方向。

“AI作为普通技术”是我今天演讲的理论框架。当我们说AI是普通技术时，并不是指它像锤子或牙刷那样，是一种平凡的工具。

我们在文章中明确承认，这是一项与工业革命规模相当的变革性技术。我们并非AI怀疑论者。

这不是一句口号，而是一个框架——某种解释AI能力如何影响经济和社会的因果模型。这是一篇15,000字的文章，我们正在将其转化为书籍。我提到这一点是因为人们常常听到“普通”这个词，便以为知道我们的意思，但这往往会导致误解。

首先，我将论证这一框架在思考AI影响方面是正确且有用的，除非未来出现某种断点——例如通过递归自我改进——导致未来影响与过去截然不同。

其次，我将讨论为什么尽管我们应该认真对待递归自我改进，但我对此并不特别担忧。

最后，我想明确表示，我并不是说未来的工作将与现在的工作完全相同。需要大量适应。因此，我想分享一些初步思考，关于我认为我们的角色将如何变化，以及我们如何最好地适应这些变化。

过去强大的技术，如电力，已被深入研究，我们已有良好的框架来理解技术进步如何导致经济影响。

发明：发现电磁学原理、交流电与直流电等。

创新：人们不会直接使用“电力”。我们使用电器。这些电器需要被发明，因此属于下游创新——这是框架的第二阶段。

扩散：这指的是人们逐渐开始采用创新的过程。

在我们的文章中，我们将这一框架应用于AI，并将其扩展为四部分框架。

以下是翻译后的 Markdown 内容：

以下是用软件工程作为例子说明的基本图景。方法/能力：模型正在迅速改进。产品/应用：我们并不直接使用大语言模型（LLMs）。它们之所以在我们所有的工作中都具有如此大的影响力，是因为编码代理（coding agents）。这些是将潜在能力转化为对工作者有用且可使用的工具的产品。早期采用：起初人们主要尝试的是“氛围式编码”（vibe coding），但现在我们知道这种方式并不是开发生产软件的最佳方法——因此我们现在有了更成熟的智能体工程（agentic engineering）方式。适应（或结构性转变）——这是第四阶段，也是最缓慢的阶段。我今天演讲的大部分内容都将围绕这个阶段展开。我主张这个阶段需要数十年时间。即使是在软件工程这样的相对早期采用者领域，这一阶段甚至尚未真正开始。

我们尚不清楚适应阶段会是什么样子——我们只能进行推测。请允许我稍作推测。如果未来编码代理能够创建出没有大量漏洞和安全问题的千万行代码库，那么我们再为数十亿人使用而开发单一软件产品就不再有意义。相反，为每个个人或团队量身定制软件将更有意义。这就是我所说的“极端个性化”（extreme personalization）。

这不仅是技术层面的变化，也是对行业本身的变革。例如：我们是否还需要软件公司？也许软件开发将大规模转向内部进行，由实际使用软件的公司和团队来完成。再次强调，这仍然是推测，但重点在于，正是这种组织变革和人类行为的变革——这种缓慢而耗时数十年的变革——将使我们能够充分利用人工智能的全部潜力，无论是在软件工程还是其他任何领域。因此，这是本文的核心洞见之一。当我们回顾过去的技术时，这种类型的变革往往非常缓慢。

在电力普及之前，工厂的布局看起来像左边的图片。一个巨大的蒸汽机产生动力，并通过机械齿轮和皮带将动力传输到工厂各处。当电力出现后，工厂主试图用电动发电机取代蒸汽锅炉。他们认为这会更高效。但这种“即插即用”（drop-in replacement）的替代方式并未奏效。今天在人工智能代理（AI agents）的语境中，我们经常听到这个术语——认为它们将作为人类工人的“即插即用”替代品。但电力的案例证明这种想法并不奏效。

实际上真正奏效的，是耗时40年才发展出的洞察：电力是一种截然不同的技术。它是可携带的，因此可以将动力传输到任何需要的地方。这使得工厂能够围绕流水线逻辑重新组织整个布局。而这需要改变工人培训、雇佣和解雇的方式，制定新的劳动法规等。因此，正是这种类型的组织适应，才使得工厂能够从电力中获益。

我们的观点是，AI的发展将经历类似的进程。几十年后，我们将从根本上重新组织工作方式。我们尚不清楚这会是什么样子，而这正是我们所有人面临的挑战。这不仅仅是AI公司的任务，就像电力公司当年并不负责重新组织工厂的运作一样。在我们看来，AI对经济产生影响的四个阶段中，这个过程是进展最缓慢的。目前，这一进程尚未真正开始。

为什么各行各业的人们在实际使用AI时，与AI潜在应用能力之间存在巨大差距？其中一个原因可能是人们在采用新技术时较为迟缓，这在我们的分析框架中也有所体现。

但我们开始思考，也许那些部署AI却成效甚微的人，对AI的实际局限性有着AI行业所不了解的认知。我们需要对“能力”与“部署”之间的关系保持更多谦逊态度。

鉴于人们最常提及的担忧是可靠性，我们试图测量可靠性（与能力区分）是否是AI代理实际效用的障碍。

我们研究了10-12个可靠性指标，并将其归类为四个维度。一致性：假设我们得知某个AI代理的准确率为70%，这是否意味着它在70%的任务上都能正确执行，但在这些任务上始终如一？这种表现非常适合部署——你可以将它应用于这些任务子集。或者，这是否意味着在任何任务中，它都有30%的概率不可预测地失败？从部署角度看，这种表现几乎毫无用处。令人震惊的是，我们研究的代理基准测试中，没有一个能区分这两种情况。这两种情况都被表示为70%的准确率。鲁棒性：我们研究了鲁棒性：当环境发生微小变化时会发生什么？校准：代理能否回顾其对话记录并判断自己是否正确执行了任务？运营安全性：当它失败时，是否可恢复，还是像删除生产数据库这样的严重问题？

对于人类工作者而言，如果我们认为某人胜任工作，意味着所有这些特质都具备，而不仅仅是准确性。但事实证明，我们目前只根据准确性来评估代理。

我们使用两个互补的基准测试，对过去24个月左右发布的这三家前沿AI公司模型的能力和可靠性进行了测量。

这期间，准确率或能力大幅提升（左图）。

但可靠性（右图）仅提高了5到10个百分点。

这带来了很多启示，但让我重点强调其中一点。目前，行业并未将自动化代理与协作代理区分开来。如果你以无头模式运行代理，我想这就会变成自动化代理。这种看法并不恰当，因为对自动化代理至关重要的可靠性等属性，可能反而会阻碍你使用的协作代理（比如用于提升创意写作的代理）。对于这类代理，你不希望它像机器人一样每次都执行相同的操作。你希望它具有创造力，探索不同可能性，并表现出不可预测性。

框架的三个层级揭示了真正瓶颈所在：

决策层：理解客户需求、制定规范、规划等。这些工作并未因AI而减少。

执行层：实际的编码和调试工作。这部分确实被压缩了，但原本可能只占整体工作量的三分之一。

交付层：深入理解代码以对发布内容负责；执行客户系统集成、维护、测试等。这一层级同样没有被压缩。

事实上，随着AI压缩中间层，第一层和第三层的工作量反而可能在增加——这一点我稍后会详细说明。

我认为在软件工程领域，这种现象已经显现，并将在许多职业中日益明显。我们可以将知识工作者类比为起重机操作员或叉车操作员。机器极大地放大了人类进行体力劳动的潜力——它完成所有繁重工作，但人仍然保持控制权。我认为认知工作也是如此：机器将越来越多地承担认知层面的繁重工作，但人仍然保持控制权。

整个工作被重新定义为：操作机器、理解机器、控制机器，而不是亲自完成认知工作。

所有这些可能看起来像是巨大的变化，但从某种意义上说，这只是软件工程领域反复发生的事情的延续。从机器码时代开始，我们经历了多轮技术浪潮，每一轮都使我们的生产率提高了近一个数量级。而且，与人们可能认为的相反，随着我们不断攀登技术阶梯，软件工程师的就业数量实际上增加了约一万倍。这是因为需要编写的代码量已经增长了多个数量级。

经济学家反复发现了这一现象。你可能听说过“杰文斯悖论”；我个人更喜欢“劳动力总量谬误”这一说法。

自动取款机使银行经济上可行地开设大量地区分行。而这些分行仍然需要人类柜员来处理自动取款机无法处理的事务。因此，悖论的是，就业实际上反而增长了。

十年前，杰弗里·欣顿曾预测，五年内放射科医生将基本消失。但事实是，放射科医生的就业数量实际上增加了。这并不是因为放射科医生拒绝人工智能，他们实际上非常积极地采用人工智能。工作增长的一个原因是，当某项任务变得更加快速和廉价时，对该任务的需求也会增加。

我们写了一篇论文探讨律师应该如何适应。其中有很多内容，但一个简单的观点是，人工智能使提起诉讼变得容易得多。这意味着律师将有更多工作要做。如果我们不喜欢生活在充满诉讼的社会，可能会对此感到不满，但从律师就业的角度来看，这无疑是个好消息。

翻译是一个更极端的例子，这让我感到震惊。几乎十年前，人工智能在翻译任务上就已接近人类水平。然而，人类翻译人员的就业数量基本保持稳定，并预计在未来十年内仍将保持稳定。有很多原因，但其中一个原因是，你实际上可以翻译的内容和语言数量没有上限。

订阅以获取基于证据的人工智能影响分析

我曾论证，到目前为止，我们的框架与证据高度一致。现在，让我们讨论一种可能性：我之前所说的全部内容可能都会被推翻，因为某种形式的起飞或奇点将被实现，届时我们将无事可做。

许多公司，包括这两家，都表示他们正在竞相实现递归自我改进。这些公司是认真的——我非常重视他们的说法。

假设在明年某个时候，递归自我改进得以实现。那会带来什么后果？幻灯片展示了人工智能界通常的观点。请注意，AGI是一个著名且模糊的术语。定义主要有两派。一派认为AGI将在一系列认知维度上具有人类特征，另一派认为AGI将能够执行一系列具有经济价值的任务。

我的观点是，将AGI和ASI视为递归自我改进（RSI）的几乎自动结果，这种看法有些荒谬。这四个方面是完全不同的进步维度，没有任何一个维度能推导出其他维度。

我将在接下来的几页幻灯片中详细讨论这些内容，但先分享一个简单的直觉。与超级智能相关的一个特点是它将治愈癌症和其他疾病。但我们知道，开发医疗治疗的难点在于临床试验，这通常需要数千人参与并耗时10-15年。这说明超级智能的瓶颈是外部因素，而不是通过纯粹的计算过程在实验室中就能解决的问题。因此，许多评论者假设的“递归自我改进会自动导致超级智能”的观点显然在因果链中存在缺失。

在人工智能发展的早期，这些目标都还很遥远，因此我们没有明确区分进步的不同维度是可以接受的。但现在这已成为一个现实问题——它导致了混乱的讨论。

以类比说明：假设我们是早期的探险者，希望有朝一日能到达夏威夷。用一个词来指代这些岛屿群是可以接受的。但随着我们的船只越来越接近，我们最好能用不同的词汇来描述这些岛屿。否则，我们会混淆自己当前的位置和前进的方向。

海伦·托纳（Helen Toner）等其他人也提出了类似的论点。

现在让我们详细讨论这四个维度，首先从递归自我改进开始。

假设一家公司声称他们已经构建了RSI——他们开发了一个能够构建自身继任者的AI系统。这实际上意味着什么？

一方面，这可能意味着一个大型语言模型（LLM）提出了大量关于如何调整架构或数据管道等的改进建议，并自动测试了这些方案并保留了有效的改进。这本质上只是增强的超参数搜索。我们早已拥有类似AutoML的系统——我查过资料，甚至施密德胡伯（Schmidhuber）多年前就发表过相关研究。我们不会将这些称为超级智能。因此，这是光谱的一端。

这与另一极端情况截然不同：想象公司实际上成功取代了人类AI研究人员的创造力和智慧——不仅是单个研究人员，也不仅是公司内部的研究人员，而是全球数以万计的创新者组成的整个社区，他们的所有创新都在推动AI系统改进。当人们谈论RSI时，不清楚他们指的是这两种情况中的哪一种。

我做出这一预测的原因很简单：目前AI仍处于一个阶段，它在可验证任务上远优于不可验证任务。AI性能的某些维度，如速度和效率，是可验证的，可能通过短期的RSI实现显著提升。

然而，创造力等其他智能维度则是不可验证任务的典型代表。

我们甚至不清楚如何明确测试AI的创造力。从认知科学和神经科学的角度来看，我们对人类创造力的理解还不够深入，以至于无法设计出明确的测试方法。

让我们进一步探讨AI创造力，以此说明实现类人AI所面临的障碍。

这段播客主持人 Dwarkesh Patel 的话很好地说明了 AI 创造力与人类创造力之间的差距。虽然在某些特定领域（如 Erdos 问题）可能存在一些反例，但当我们想到那些著名的“顿悟时刻”——发现看似无关领域或问题之间令人惊讶的联系——这些时刻通常与人类科学发明和创造力的重大成就相关。而大语言模型（LLMs）似乎还远未达到这种水平。

为了理解原因，我花了很多时间深入研究认知科学文献。我不会详细展开，但似乎有两个研究方向以略微不同的方式探讨这一问题，但彼此之间几乎没有交流，原因我不完全清楚。基于我所读到的内容，我想提出一些关于 AI 创造力的假设。

表征质量对认知来说是绝对基础的。想想深度学习——这在感知背后的表征质量上是一个巨大的飞跃。因此，我认为 AI 在感知相关的表征质量上已经基本跟上了人类水平，但在人类用于创造力和推理的表征质量上却尚未达到这一水平。

特别是 François Chollet 提到，支撑我们创造力的人类表征似乎表现出一种极端的组合性，即一切都是由少数“意义原子”构建而成的。许多看似人类工作记忆和信息处理的局限性，实际上反而是优势，因为它们迫使我们创造出这些极其高效的表征。

由于大语言模型在某些维度上远超人类——例如记忆和检索可能激发创造力的存储模式——我们在试图比较人类与大语言模型创造力的研究中，无法揭示这些重要的真实局限性。

此外，当人类创造性地思考问题时，我们能做一件非常美妙的事情：我们能实时改进与问题相关的表征——如果用推理时间来表述的话。这使我们能够暂时搁置问题，改进表征，并在第二天以更高效的方式解决该问题。我相信我们都经历过这种情况。但这是当今 AI 系统无法做到的。

我天真地认为持续学习领域的研究者会对此非常关注，但当我开始查阅相关文献时，却发现并非如此。持续学习主要关注的是防止灾难性遗忘，而不是随时间改善能力。此外，它更关注事实、技能等，而不是底层表征的质量。

综合所有这些因素，并考虑到创造力只是实现类人 AI 的众多障碍之一，我认为我们仍有很长的路要走。不过，我想在此表达一些谦逊。这些都只是假设，我认为我们需要实证验证。

说到实证测量，我们正在进行一个项目，测试 AI 进行类人 AI 研究的能力。

我们为AI代理提供数千美元的预算和一个机器学习研究问题——这是一个研究人员已经研究并撰写论文的问题，但尚未在arXiv上公开。这种设计结合了两个特性：一方面，我们拥有一支由深入研究该问题数月的人类评委组成的团队，他们能够评估AI的输出；另一方面，他们的思考尚未公开，这可以防止AI作弊或数据污染。

虽然其他人也进行过自动研究实验，但我们希望在某些方面做出不同尝试——特别是选择一些相对开放性的问题，从而真正测试AI代理在判断和创造力方面的能力。我们希望很快发布详细的研究成果。

这建立在我们称为“开放世界评估”的基础上。我们已经完成了一项开放世界评估，即让代理构建并上传一个应用程序到苹果应用商店——这与递归自我改进无关，但测试的是另一种能力。我们组建了一支优秀的团队，成员来自多所大学、几家企业和英国人工智能安全研究所。

顺便说一下，我们正在招聘一名研究人员来领导未来的开放世界评估工作。如果你感兴趣，可以访问我们的网站了解详情。

现在让我们转向四个维度中的第三个。

有些人声称AGI已经到来。这确实是一种解读方式，而我恰好同意这种观点。

这可能看起来令人惊讶，因为我在第一部分表达了对快速经济影响的怀疑。但事实上，这不仅与第一部分一致，甚至可以说是对第一部分的重申。我在第一部分的观点是，障碍存在于下游，因此模型改进不会迅速改变经济。但正因如此，即使没有模型改进，这些下游障碍也会逐渐被解决。是的，这可能需要几十年时间，但我们最终一定会到达那里。

存在许多障碍：可靠性（已讨论过）；将AI模型整合到各种现有系统中；来自医学、法律或其他专业领域的隐性知识，这些知识需要提供给模型；监管方面，通常直接禁止当前AI系统以生产性方式使用——在许多情况下，这些监管有其合理原因，但需要进行调整以实现采用。

关键点在于，这些问题不会在实验室中解决。这些问题不会通过周二发布的下一个模型版本来解决。它们将通过逐渐的采用，在数十年的时间里逐步解决。

从地缘政治或战略角度来看，有些人主张进行AGI竞赛，认为就像曼哈顿计划一样，率先达到某些能力里程碑的国家将获得经济回报。我强烈反对这一观点。

没有特定的能力里程碑能够释放所有经济潜力。经济潜力已经存在。这实际上取决于我们采取的所有下游行动。它并不受能力的限制。

好了，现在让我谈谈最后一个维度，即超级智能。

我之前举了医学试验的例子。另一个例子：你认为我们会获得能够精确预测一年后天气的超级智能吗？我们知道这基本上是数学上的不可能，因为非线性动力系统中的混沌理论。我们的观点是，许多任务与天气预测类似，存在固有局限性，而我们已经接近这些极限。

即使在那些我们尚未触及极限的任务中，认为会出现能取代人类的AI超级智能这一想法，源于对人类智能的根本误解。我认为在绝大多数任务中，我们的表现限制并非来自生物学，而是来自学习和工具。

想象一下古代人穿越到我们的世界，与那个人相比，我们显得超级智能。但这不是因为我们的生物学更好，而是因为他们没有经历我们所积累的学习，也没有使用我们能够利用的工具，尤其是数字工具，来完成各自的工作。

AI就是这样的工具。在我们的框架中，这意味着AI的改进实际上是在提升人类智能，而不仅仅是AI本身的智能。因此，我们面临一场竞赛：一方面，AI增强的人类表现；另一方面，AI系统单独运行的表现。我认为我们可以确保自己成为未来的超级智能并赢得这场竞赛，而不是让AI系统单独运行，以威胁我们的未来并实现控制。

许多人对这一前景持悲观态度。他们提出了诸如未来AI运行并拥有公司之类的思维实验。他们的观点是，如果AI系统没有对齐，可能会发生可怕的事情——AI可能变成纸夹最大化者或造成其他灾难性后果。我们的观点却截然不同。如果你设想一个AI实际上拥有并运营公司、雇佣和解雇员工的未来，这本身就是反乌托邦的。无论AI是否对齐，这对人类尊严、民主治理等的后果已经是灾难性的。

因此，如果你的安全观是将此视为不可避免的未来，仅仅希望“对齐”能解决这个问题——请允许我直言不讳——在我看来，你实际上是在反对安全，而不是支持安全。我认为要确保我们不以不负责任的方式部署AI系统，需要大量艰苦的工作。但我认为我们是可以实现的。这也是为什么我职业生涯的大部分时间都在为政策制定者提供建议。我们需要政策，我们需要政治，这将很艰难，但让我们在战斗开始前不要放弃。

例如，RSI在实验室中是可实现的，但它不会立即导致失业。另一方面，具有经济变革性的AI将会发生，但这不是因为下一个模型的发布，而是因为未来几十年内将逐渐发生的事情。

回到本次演讲的主题：不存在这样一个世界，即一家AI公司决定在实验室中进行的某项研究会导致我们所有人失业。是的，有一些值得担忧的风险。是的，事情会发生变化。但我们对AI的部署方式拥有主动权，这一过程将跨越数十年展开。再次强调，这并非必然结果，但这是我希望努力实现的未来，这也是我谨慎乐观的原因。

让我用最后十五分钟谈谈另一面。我认为很多事情确实会发生变化。其中一些变化是什么呢？

技术技能通常属于可验证的任务，而AI在这些领域的表现会持续提升。

二十多年前，编程岗位与软件工程岗位在劳动力需求上开始出现显著差异。编程岗位的定义狭隘地围绕编码和调试等技术技能展开。而软件工程岗位则需要负责我之前提到的“决策-执行-交付”三明治结构中的所有三个层次——确定需要构建什么、理解客户需求等。这需要领域知识、判断力以及更多综合能力。

我预测，随着时间推移，这种现象将在越来越多的领域出现。

我观察到的一个反复出现的模式是：工作重心从构建系统转向评估系统。正如我之前提到的，我领导的团队正在研究AI代理评估。大型语言模型（LLMs）和代理系统具有通用性。因此每当能力提升时，就会在法律、新闻等不同场景中产生评估需求，而这些工作本身不具备可扩展性。

不仅AI代理评估难以被自动化取代——它已经发展出足够专业的领域，使得从事评估工作的人员和团队开始与构建和推动AI代理前沿技术的人员和团队产生分化。这个新兴社区正在形成一套新的最佳实践标准，围绕如何严格评估代理系统展开，我们即将发表的一篇论文将对此进行详细探讨。

让我用一个比喻来解释我观察到的社区变化。想象在过去大多数船只都是划艇，人类的工作是通过划桨物理移动船只。当时没有专门负责操控船只的岗位：当你划船时，你同时还要决定向哪个方向划。

但当船只移动的体力劳动可以委托给引擎时发生了什么？人类的工作并没有消失，事实上它们变得更加专业化。现代船只拥有非常复杂的控制面板，可能会有数十个不同的专业岗位，专注于确定船只应该前往的地点以及如何抵达那里。

我认为我们正在见证AI/ML领域类似的转变。过去，我们的大部分工作集中在构建上——当时不需要专门的评估岗位。但这种情况现在已经改变。我们仍处于这一过程的早期阶段，但我认为随着时间推移，越来越多的构建工作（因为属于可验证任务）将能够由AI完成，而评估工作——确定我们社区应该前往的方向、确定AI系统应具备的优良特性——则对自动化具有高度抵抗力。因此，与当前相比，未来社区中将有更大比例的注意力需要集中在评估工作上。

在赛艇运动中，体能曾被视为重要的价值，而今天我们或许会为航海者不再需要强健体魄而感到遗憾，因为现在这都是一群书呆子在做。同样地，在当今的AI社区中，对模型和系统进行深入的技术理解仍然具有巨大价值，这被认为是最重要的事情；那就是能带来巨大价值的东西。但我认为，未来判断力和所有这些在AI社区中目前地位较低的模糊因素将变得比技术理解更重要。这可能是一种我们尚未完全准备好的思维转变。许多人对此感到难过，这也没关系。

这种转变的一个实际影响：设想一下像这样的会议。会议中应该有多少比例的篇幅用于评估论文？

我不知道，但我认为可能比现在多得多。也许大约一半——我随便说个数字——这比现在多出好几个数量级。至少我们需要一个专门的专题。我们目前没有专门的专题。NeurIPS确实有一个，而且随着时间推移，它的受欢迎程度在增加，我认为这是好事。

我还会进一步主张，对AI系统的深思熟虑的评估本身就是一种对齐（alignment）。它不是对齐AI系统本身，而是对齐整个社区——思考我们当前的方向和我们想要的方向，并努力使两者对齐。如果没有足够的评估强调，我的担忧是，社区——回到船的比喻——将像一艘无舵之船：非常强大，但集体上我们无法控制想要开发的AI类型。

我在这篇有吸引力的立场论文中扮演了一个小角色。这个论点的简短版本是：我们需要超越将基准作为AI研究价值的唯一标准。

基准给我们带来的是效率。我们不需要花几年时间同行评审论文——如果它超越了现有技术，我们就知道这可能是一篇好论文。但不幸的是，这已经狭隘了社区的集体愿景。我们正在路灯下寻找——我们正在寻找那些在以基准驱动的评估体系中容易搜索的东西。我们需要超越这一点。这意味着评估论文质量将变得成本更高。令人遗憾的是，这将是我们必须承担的成本。目前，社区正试图朝相反的方向仓促前进。

自动化同行评审存在巨大的诱惑。但恭敬地说，我认为这是一个陷阱。如果我们自动化同行评审，我们实际上就将对进步方向的控制权交给了AI系统本身。这似乎是一种根本性的努力错配。

如果我们自动化那些琐碎的部分，人类的时间就可以被释放出来，去更深入地思考需要判断的部分。

从AI研究推广到整个科学研究，我们有一篇论文主张，“自动化科学”的愿景建立在一个根本性误解之上——仿佛科学的目的是单纯的解决问题，如果我们能用AI直接从问题跳到解决方案，我们就能自动化并加速科学。

在我们看来，人类的理解并不是需要被自动化消除的阻力，而是至关重要的。它正是科学探索背后所有目的的核心。如果我们失去了人类的理解，也将失去由此衍生的一切。

因此，我的预测是：如果未来科学领域中AI代理的使用大幅增加，将出现新的工具和新的角色，这些角色专门负责审视AI解决方案，并从中提炼出人类的理解。因为保留人类的理解是必不可少的。

商业世界中的许多人正在说“评估是新的知识产权”。不深入细节的话，这与之前发生的现象非常相似——努力的方向将从纯粹的构建转向构建与系统评估的结合。

（注：在本文中，我解释了跨职能评估团队的概念，以防止公司欺骗自己。）

如果你从这次演讲中只带走一个观点，那应该是这张幻灯片。我在整个演讲中展示的内容是：在许多不同领域，由于可验证的任务可以由AI处理，部分或大部分工作重心将从构建转向评估。

工作重心将从“划船”转向“掌舵、导航以及明确我们想要去往的方向”。

我认为这是一个强有力的隐喻，它将帮助我们预测未来十年或二十年人类角色的转变。

在最后几分钟里，我想分享一些个人反思，讲述我如何在自己的研究流程中应对这一挑战——人工智能能力的快速提升。我相信每个人应该选择自己的道路，但希望这里有一些有趣的思路供你参考。

这里所说的“地板”指的是AI能够独立完成的事情。“天花板”指的是AI通过增强我们的能力所允许我们实现的——即承担以前无法实现的新项目和雄心勃勃的计划。但天花板不会自动上升，只有当我们努力推动它上升时，它才会提高。

我发现，我每周大约要花10个小时学习和尝试新的工作流程，以及学习新主题。因此，可以这样理解：AI使生产效率大幅提升，而我试图将节省下来的时间“重新投资”到长期成长和掌握新的互补技能中。

我学到的是，如果一天结束时我没有感到疲惫，那说明我做错了什么。我将太多任务交给了AI，为了短期效率，我牺牲了长期成长。

成长与效率是三脚凳的两个支柱，我们需要学会如何平衡它们。而这三脚凳的第三根支柱是保持控制。

以下是我尝试用来实现这一目标的两个启发式方法。第一个是抵制“黑箱”诱惑。公司希望我们把代理当作黑箱使用——只需提示它，它就会自动去完成任务。我认为这是一场陷阱，非常危险，它将导致我们逐渐放弃控制权。

其次，相关联的是我所说的“依赖螺旋”。使用人工智能完成自己尚未精通的任务极具诱惑力，因为学习新事物当然非常困难。但这样会导致我逐渐丧失在该任务上原本就有限的技能。从长远来看，我应该先花时间掌握任务本身，再利用人工智能提升自己的效率。

这一切都不容易，但如果我们能正确应对，前景将令人着迷且充满力量。

计算机常被称为“思维的自行车”。我认为人工智能可以超越这个比喻。如果允许我使用这个比喻的话，人工智能可以是“思维的起重机”，因为它能将我们的潜力放大到前所未有的高度。实现这一目标可能看似 daunting（艰巨），它拥有惊人的学习曲线。我感觉自己仿佛一直在跑步机上奔跑，但我对这一过程充满兴奋。我认为这是一项有趣的挑战，而且我认为这场斗争是值得的。与五年前相比，某种程度上，我感觉自己……也许“超级智能”这个词并不准确，但人工智能让我能够承担以前不可能完成的雄心勃勃的任务，这让我感觉自己拥有了超能力，能够以前所未有的方式挑战自我。

我认为，即使人工智能能力持续提升，在可预见的未来，我们仍可以确保这一状况持续下去。也许在遥远的未来，这种情况将变得不可能，但现在放弃斗争还为时过早。我计划继续这场斗争，并希望朝着“协同超级智能”的愿景努力，也希望你能加入我。这就是我的最终思考。