Steering AI Beyond Automation

超越自动化的人工智能引导 - 阿rvind Narayanan

超越自动化的人工智能引导

研究议程与行动计划

Arvind Narayanan

2026年10月14日

由Gabriel Unger和Arvind Narayanan共同撰写。Unger是斯坦福大学数字经济实验室的经济学家。

当今人工智能领域最基本的问题之一是：人工智能项目的本质在多大程度上仅仅是自动化人类劳动？

目前硅谷主导的人工智能计划，无论是在工业界还是学术界都持相同观点：答案是“几乎完全如此。”1 这种观点隐含着技术决定论：人工智能具有深层的内在逻辑，天然倾向于自动化。继续沿着这个方向推进将带来经济增长、繁荣和利润。通用人工智能（AGI）的愿景就是这个项目的成功完成：创造能够自主完成人类所能做的一切的AI系统。

另一种观点认为：人工智能是一种（或一类）技术，和其他技术一样，可以朝不同方向发展。完全自动化是其中一个方向，但还有其他方向，包括更注重人类增强、提升人类与AI模型协作团队的集体能力的方向。

我们所持的观点并非自动化从不好。显然有时自动化确实有益，也显然有时部分人会出于最狭隘的短期利益反对自动化，这会损害更广泛的社会和经济进步。但我们认为人工智能也可以以许多有趣的方式增强人类劳动者，一些极端主张完全自动化人类劳动的尝试在技术和经济层面都存在严重问题，目前人工智能研究过多集中在后者而忽视了前者。对自动化议程的偏重部分源于经济激励，但部分也源于计算机科学领域更深层的智力和文化因素。

这种替代性观点在计算机科学史中有着深厚的理论根基，尤其体现在人机交互子领域。此外，现在有充分的技术和经济理由推动这一方向。尽管目睹了实施第一种方案的经济失望后，目前已有越来越多的企业开始接受这一观点。尽管如此，这一观点仍是少数派，理解不足且缺乏组织。最重要的是，目前计算机科学领域缺乏一个清晰的系统性规划，来构建推动这一议程的人工智能架构。

在本文中，我们将简要探讨当前所面临的问题，计算机科学领域中关于这一议题的辩论历史，以及当前经济学和其他领域对此的讨论现状，同时分析自动化议程在大学计算机科学文化和课程中的体现。最重要的是，我们在第1节中勾勒出几个推动人机协作的研究方向。为实现真正的人机协作而设计AI，需要解决与当今模型和代理截然不同的技术问题，这些问题往往被忽视，甚至未被认知为问题。我们勾勒的具体方向旨在作为初步探索性的实验性方案。但关键在于明确构想一个与主流硅谷模式不同的AI项目，并超越批评，提出替代性方向的积极表述。我们的希望是，这能成为更广泛、持续、实验性和集体性研究计划的种子。

在第2节中，我们将讨论项目的高层动机，而在第3节中，我们将简要回顾一些相关思想的历史。在第4节中，我们将这一内容置于当前经济学和政策领域关于AI与自动化争论的背景中，而在第5节中，我们将概述一种自下而上、以市场驱动为导向的AI发展和部署方向引导方法。

1. 协作代理的研究议程

针对人机协作的严肃研究计划将提升那些自动化议程更可能忽视或视为相对次要的新颖技术问题。我们提出四个具有代表性的研究方向。

问题 #1：我们能否为各种人类劳动领域生产白盒代理？

当前AI模型和代理的主流范式是“黑箱”：系统根据其最终输出进行评估。中间步骤通常不会向用户披露，即使披露也可能因与人类处理任务的方式大相径庭而显得神秘，且未被作为任务表现的组成部分进行处理和优化。黑箱范式的一个原因是模型训练过程中缺乏过程痕迹。如果我们用一千幅文艺复兴时期的画作训练新AI模型，但没有任何关于创作任何一幅画作所涉及的众多中间步骤和修改的数据，我们只能期望得到一个黑箱模型。它或许能生成一幅风格相似的新画作，但无法主动引导我们完成创作此类画作的步骤。

我们所称的“白盒代理”是那些在认知上对人类用户更具可读性的AI系统，能够明确揭示其中间过程（来源、假设、方法、不确定性、过程产物）。白盒代理可能开启各种更直接的人机协作形式：如果人类能够看到中间过程，他们就可以直接与这些过程互动。

白盒代理的成功开发需要解决许多技术子问题。其中最关键的是如何为更广泛的人类劳动捕获过程追踪。过去几年的人工智能模型训练和部署过度集中在软件编码领域。这有很多原因，但其中一个主要原因是：我们能够利用大量公开的代码仓库，这些仓库包含了软件开发过程中每一步的痕迹。然而，对于当今经济中许多其他重要的专业职业——如法律、医学和众多科学领域——目前尚不存在如此神奇的公开可用、免费、全面且易于编码的过程追踪数据仓库。

让我们做一个思想实验：设想一个没有开源软件的反事实世界，由于现实需求，编码代理（coding agents）不得不以黑盒方式直接输出编译后的软件二进制文件，而非源代码。我们认为这种能力会被软件工程师视为反乌托邦而非解放，其结果将是取代而非增强他们的能力。我们倡导的转变相当于在这个世界中引入代码仓库和编码代理——并在所有目前缺乏这些资源的领域都这么做。

一场安静的淘金热正在悄然兴起，旨在为更广泛的职业领域捕获过程追踪以输入AI模型。这既包括那些完全致力于此目的的公司（如Mercor），也包括那些不惜一切代价研究自己员工的科技巨头（如Meta），目的是更好地取代他们。讽刺的是，这一切通常都是为了自动化范式的服务：创建训练数据以在更多领域制造更多黑盒代理。但这也可能对新一代白盒代理的开发至关重要。

问题 #2：我们能否开发出足够快速的代理以实现实时交互？

主动的人类协作的基本动态是低延迟。设想两个人进行真实对话。如果每次你向他提问时，他都必须离开房间思考20分钟，那么你们就不再是在进行对话；充其量可能只是在向他委派任务。能够以更接近人类交互速度运行的模型，可能会更好地实现更深层次的人机协作。

目前，我们被迫在两种选择之间做出权衡：要么选择能快速但肤浅地回答问题的聊天机器人，要么选择能彻底完成任务但会破坏对话流程的代理。我们不必困于这种权衡。

这听起来像是一个简单的目标，但它暗示着一系列全面的技术挑战，这些挑战可能涉及从模型推理到检索方法、外壳程序、浏览器、工具等各个方面。我们如何构建实现足够低延迟以支持协作的人工智能系统？代理堆栈的哪些部分需要改变，或者必须改变，才能实现这一点？

低延迟特别有前景，因为它可能使工作者保持在心流状态。心流是心理学中的一个概念，描述人们在进行攀岩或国际象棋等活动时的体验，这些活动因其内在吸引力而被人们所喜爱。这是一种体验状态，表演者会忘记时间和疲劳，完全沉浸在当下。大多数程序员都熟悉心流，这也是他们被编程吸引的一个重要原因。

进入心流状态需要清晰且即时的反馈——即低延迟。迄今为止，代理系统削弱了我们实现心流状态的能力。许多程序员报告称，从手动编程转向监督编码代理的过程中，导致了心流状态的丧失、认知过载和倦怠。但我们的假设是，通过重新设计代理系统，不仅能恢复心流状态，甚至可以提升人类实现心流状态的能力。

问题 #3：人类与代理能否在不依赖回合制模式的约束下持续协作？

在自动化范式下，人机交互的基本模型是委托：我告诉代理要做什么，然后离开，之后再回来验证结果。许多“人在环中”（human-in-the-loop）的变体仍然遵循这一模式；人类技术上在环中，但只是站在起跑线等待终点线。这与协作模型截然不同，协作模型中人类会积极参与过程，并在代理工作时持续引导其方向。

当前主流编码代理中存在一种原始的持续引导机制，但仅限于在代理工作时提供额外指令。这与用户和代理交替轮流的范式相比只是微小调整，而非根本性突破。如果用户尝试编辑代理正在处理的文件，系统会变得困惑，所有预期效果都将失效。

真正的协作带来了全新的技术挑战。系统需要展示持续变化的可见状态，而非回合制切换；需要共享工作空间，并支持中断、并行工作、同步编辑等协作模式。这在任务难以预先精确指定或验证过程复杂且与实现紧密关联的领域尤为重要。应对这一挑战需要设计交互架构，在中断情况下仍能实现持续控制而不崩溃。

问题 #4：我们如何评估并优化人机协作？

当前大多数AI基准测试评估的是模型独立完成任务的能力，而非模型与人类协作的效果。（这很可能是基准性能与实际应用价值之间存在差距的原因之一）。

评估AI-人类团队的协同工作极具挑战性。这是一个相对容易表述的问题，但要取得进展却非易事。理解如何最佳评估AI-人类协作更加困难，它引发了一系列复杂问题，乍看之下似乎过于主观或令人困惑。AI模型与人类之间适当程度的分歧应是多少？模型应保持多大程度的谦逊，人类又应拥有多少控制权？高效协作中，双方各自有多少空间可以从对方学习？我们如何权衡团队短期与长期的成功？评估协作成功最客观的方式是什么？数据中哪些信号和代理指标最能有效反映协作效果？

提升协作能力可能并不适用于推动自主任务性能快速提升的基准测试和爬山范式。基准任务足以作为现实任务的有效替代，因此在一项任务上的表现可以反映在另一项任务上的表现。由于协作涉及人类，静态基准无法奏效。模拟用户是一种有前景的方法，但超过某个临界点后，即使模拟用户与真实用户的行为存在细微差异，也可能导致模型训练中奖励错误的东西。

2. 自动化议程的问题是什么？

关于自动化潜在弊端的争论往往集中在纯粹的分配问题上。批评者担心大规模自动化可能创造一个广泛失业、贫困或失去权力的工人阶级。经济学家通常怀疑这种情况会完全发生（现代经济史表明技术进步、部分自动化和工作再分配是正常的节奏）。在硅谷，人们更倾向于接受大规模失业的实证前提，但认为人们“不必工作”是好事，这将通过全民基本收入支付或更激进的福利计划来实现。

这种“自动化并补偿”的交易存在诸多问题，其中之一是它与当今美国可识别的政治经济体系相去甚远。自20世纪80年代以来，收入不平等急剧加剧，但美国精英阶层并未通过慷慨的新福利扩张政治计划作出回应。美国政治也未能产生一个超越精英阶层的广泛选民联盟，要求并实现这种扩张。（许多基本现金福利计划在同期被削减）。即使某种类似全民基本收入的计划在政治上可行，对硅谷以外的普通人来说也会极具吸引力。大多数美国人想要真实的生活和真实的工作，而不是福利支票。

其次，即使我们接受自动化议程，它目前在自身框架内也面临困境。根据自动化议程推动的工业AI部署，越来越多地承诺提供高度能力的智能体，这些智能体同时具备低成本部署（无需特定任务开发或配置）、可靠性和真正自主性。这些目标之间存在直接冲突，形成三难困境——（1）完全自主，（2）在高风险场景中可靠，（3）真正通用——只能选择其中两项。

当前AI行业最明显的问题之一是经济逻辑是否成立：数十亿美元的资本支出与许多企业尚不明确的投资回报率。放松自动化议程的限制，实际上可能为更具经济可持续性的AI版本打开大门。

最后，AI对经济增长确实具有真正的潜力。在美国经历了长达50年生产力增长基本停滞的时期后，我们应当充分把握这一机遇。AI最激进且有趣的用途，很可能是让我们能够完成以前无法做到的事情。如果仅仅专注于自动化那些我们已经掌握的工作，这种做法的变革性要小得多，也不太可能带来快速的经济增长。业界和政策制定者普遍认识到，目前尚缺乏对AI的积极愿景阐述。我们认为，要提出这样的愿景，首先需要摆脱对自动化的狭隘关注。

3. 为什么自动化议程占主导地位

一个想法的历史

在现代计算的早期阶段（1940年代至1960年代），人们对计算机应该成为什么、以及人类与计算机的关系存在三种不同的愿景。这些愿景在某些方面存在交集，但本质上是截然不同的。其中一种愿景（后来发展为经典AI领域）希望创造几乎具有人类特征的机器，这些机器能够推理、解决问题、具备自主性、通用性，并能使用人类语言。"人工智能"（artificial intelligence）这一术语最早出现在1956年达特茅斯会议（甚至这个名称本身也在试图拟人化！）。

第二种愿景（后来发展为机器学习）强调在非常明确的任务集上实现狭窄但深入的性能；通过大量数据进行预测。人们通常隐含地理解人类在选择任务和应用预测结果中的作用。

第三种愿景（后来发展为人机交互领域）明确希望实现人类与机器的协作。如JCR利克利德1960年的《人机共生》（Man-Computer Symbiosis）和恩格尔巴特1962年的《增强人类智能》（Augmenting Human Intellect）等著作认为，人类和计算机具有不同的能力，我们应该思考如何设计最佳的团队和组织来整合这些能力，而不仅仅是单独设计最好的计算机。最好的计算机应该是那些能够与人类进行良好迭代和交互协作的计算机，而不是那些尽可能自主完成大量工作的计算机。

如今的AI代表了经典AI和机器学习的融合。而人机交互（HCI）仍然是一个充满活力的子领域。我们习以为常的个人计算机设计特征，如计算机鼠标、图形界面等发明，都源自那些最关注创造能与人类良好协作的机器的社区。但像利克利德和恩格尔巴特这样的人机交互先驱所倡导的人机协作愿景，如今似乎已成为少数派观点。经典AI的愿景如今已成为新的正统观念。为什么它如此主导？

AI作为纯粹自动化手段的吸引力有诸多原因。首先，存在一个表面上的经济论点（尽管最终可能并不成立）。对于大多数行业中的大多数企业而言，生产成本中最大的支出是劳动力成本。在美国20世纪的大部分时间里，劳动收入占生产收入的三分之二。对高管而言，降低劳动力成本通常是显而易见的选择。裁员的额外吸引力在于，其效果会立即体现在短期的盈亏表中。此外，精确的成本节约很容易估算。相比之下，对提高生产率的雄心勃勃的投资可能在十年后才显现回报，但事先难以估算，也无法带来即时的财务满足感。

所有这些都发生在政策环境的背景下，这个环境在许多方面更偏袒资本而非劳动力（例如考虑相对税收待遇），并且经历了数十年的实际利率持续下降。如果你是缺乏想象力的财富500强企业CEO，你始终对寻找替代支付人类劳动的方案充满浓厚兴趣。如果你是AI初创公司的创始人，正在向希望获得这类CEO青睐的风投进行推介，你对这一点会格外清楚。

经济学是这个故事中显而易见的部分。但还有其他更隐蔽、更微妙的层次，这些层次内在于计算机科学领域本身。

存在一些技术原因，使得自动化对研究人员更具吸引力。自主模型/代理能够很好地适应非常清晰的基准测试。模型完成任务的效果如何？损失函数、性能指标、模型之间的比较，都可以设计得非常优雅，远胜于对人类-AI团队在某些现实场景中协作表现的杂乱评估。

最后——最隐晦但又真实存在的一点——是当前AI和更广泛的计算机科学领域知识文化背景的深层影响。自主系统被呈现给学生时，被视为一种美学理想。一个“端到端”的系统被视为一种胜利。需要人类监督则被视为缺陷，甚至人类参与的讨论方式（例如“人机协作”）通常也将人类视为一种临时的不便。彼得·蒂尔在《从0到1》中提到这一点时称之为“计算机科学的意识形态”：

“为什么那么多人忽视了互补性的力量？这始于学校。软件工程师倾向于从事替代人类劳动的项目，因为这就是他们被训练去做的事情。学术界通过专业研究建立声誉，他们的主要目标是发表论文，而发表论文意味着尊重某一学科的界限。对计算机科学家而言，这意味着将人类能力分解为计算机可以逐个征服的专门任务。” [第12章，第148页]

在AI/ML的教学中，标准方法是教授学生一个模型流水线（问题定义、数据、模型选择、训练、评估、训练后处理、部署、监控），其中构建的核心对象是准自主系统，而关于人机协作的问题往往被搁置一旁。人类可能偶尔出现（作为数据标注者或提供强化反馈的助手），但不会被呈现为中央代理者本身。代理是模型。

在财富500强CEO的经济考量出现之前，计算机科学作为一门学科的深层文化已经塑造了我们构建AI的整个方式。

4. 当前关于AI与自动化的经济学和政策辩论

AI对劳动力市场影响的实证研究是一个快速发展的领域。但更深层次上，经济学家普遍认为技术就是它本身——我们无法控制其发展方向或演进过程，试图干预的尝试往往显得天真、不可能、尴尬且注定失败。如果AI只是一个用计算机任务执行取代人类任务执行的自动化机器，那它就是如此。技术进步是一种单向的线性运动，经济政策的首要任务就是不要阻碍这一进程。认为技术（尤其是AI）可以真正朝不同方向发展的观点，在经济学界仍显得非常陌生。

值得注意的是存在一些例外。Acemoglu和Restrepo在一系列论文中提出了“过度自动化”的概念。Acemoglu和Johnson在《权力与进步》一书中以“支持增强型AI”为结论。Brynjolfsson将AI过度专注于纯粹模仿人类的危险称为“图灵陷阱”。Autor则指出，AI真正的潜力可能在于将隐性知识民主化，扩展到更广泛的劳动者群体，而非仅仅实现自动化。Mullainathan及其合作者正在围绕“应推动人机协作视角”的论点启动一系列研究项目，但“不幸的是，当前AI的发展愿景却是替代人类心智。对我们而言，这种未来愿景相当乏味。自动化虽然能降低成本，却很少能提高上限。仅仅复制人类能力意味着我们受限于人类能力的边界……我们致力于为心智打造自行车——增强人类能力而非替代人类能力的算法和AI。”

在经济学领域，正如在计算机科学领域一样，存在许多观点相近的同行。但这种观点仍属于少数派。许多经济学家对Acemoglu和Johnson的著作，尤其是在这一问题上的论述，往往表现出轻蔑和傲慢的态度。

部分分歧可能源于对如何实际引导AI朝有利于劳动者方向发展的困惑。怀疑论者似乎倾向于一种笨拙的、苏联式自上而下的指令体系，甚至直接禁止许多自动化形式（如自动驾驶汽车或仓库机器人），以保护就业。

这并非我们所倡导的。自动化并非全然有害。许多工作极其重复且天然适合自动化。为挽救这些工作而进行的后卫战并无荣耀之处；自动化它们是重要的社会和经济进步。20世纪初芝加哥肉类加工厂的工人每天工作12小时、每周6天，只为获得微薄的工资、截肢的肢体和被坠落机器致死的危险。弗吉尼亚煤矿的工人或许处境更糟。自动化在这两个行业中都带来了巨大改善。美国每年有4万人死于车祸，因为人类驾驶员并不擅长驾驶；我们或许会在自动驾驶汽车普及的未来，以相似的恐惧回顾这一数据。

自主AI代理在知识工作中也有其适用的场景。许多任务中，人类特有的属性（隐性知识、判断力、情境感知和目标转换）相对不重要，活动本身具有重复性，输出易于验证，轻微错误的成本较低，或对人类工作者的风险和伤害较高。上述因素的某种组合可能在特定领域中充分证明完全自动化的合理性。

但AI增强计划的核心观点在于：（1）存在另一类更为广泛的活动，这些活动在当前AI技术条件下并不适合自动化，（2）如果在技术、经济和认知的混乱中，AI领域误将精力投入（1）这种注定失败的尝试，而忽视了更可行的人机协作提升方案，这将是令人遗憾的。我们相信政策可以在边际上推动人们探索更赋能人类的AI形式。在下一节的结尾，我们将提供一些具体建议。

5. 我们如何引导AI走向增强？一种自下而上、市场驱动的方法

假设你认同这样一个论点：当前AI行业过度偏向将AI视为自动化的狭隘愿景，这种倾向可能对许多劳动者、企业以及整体经济增长都存在广泛负面影响。面对这种情况，我们该如何应对？简单的答案是自上而下的政策干预，更严肃的解决方案则是自下而上的多维度策略。我们设想一个去中心化的技术实验体系，包括计算机科学领域内的思想文化转变，一些精准的政策杠杆，以及企业逐渐认识到自动化议程可能在自身条件下难以持续推进。

新进入者和产品开始满足协作代理的未满足需求

目前市场上尚未出现真正的协作代理产品。由OpenAI前CTO Mira Murati创立的Thinking Machines实验室已发布此类代理的架构设计。在他们的设想中，存在一个超低延迟的多模态用户交互模型，将复杂任务委托给更强大的后台模型处理。尽管尚未推出成品，但有资本实力雄厚的公司敢于押注人机协作，这令人鼓舞。

同时，三大前沿实验室（OpenAI、Anthropic和Google）都在大力推动低延迟技术，尤其是OpenAI因与Cerebras的合作，以及Cursor和Cognition等公司也在推进相关技术。我们预测随着更多劳动者体验这种AI协作方式，市场需求将不断增长，形成飞轮效应。

另一类可能构建协作代理（尽管尚未开始）的公司是那些专注于特定领域或垂直领域的公司，例如法律领域的Harvey AI或医学领域的OpenEvidence。有效的协作系统通常需要领域特定的痕迹、隐性专业知识和领域专长。与能够将AI能力与深厚领域知识相结合的行业特定公司相比，大型前沿AI实验室可能在这方面准备不足。这种组织模式在许多行业中效果最佳，例如法律和医学，这些行业受到严格监管。受监管行业是协作人机模型的天然目标，因为人类在许多决策点上本来就需要法律要求。

超越协作：通向互补性的多种路径

协作只是人类与AI互补性配置设计空间中的一个例子。这里还有其他几种配置方式，旨在说明而非穷举。对于每种替代配置，都可以想象重复第1节的分析，将其分解为具体的的技术挑战。

• 集体智能：AI可以改变并协调人类工作者之间的协作方式。这可以采取多种形式：保存组织记忆、调解冲突、识别团队内的专业知识、整合分布式知识，以及以其他方式促进协作。因此，这里的近期目标不是执行特定任务，而是提高人类团队的整体生产力。

• 新任务与能力：使用AI自动化现有的人类劳动与使用AI完成人类原本无法完成的新任务之间存在显著差异。历史上有许多明显属于这一类的技术创新，例如飞机或显微镜。

• 技能提升：从短期任务完成的工作中后退一步，AI还可以帮助人类工作者提升长期能力。AI在内化隐性专业知识方面特别有效；通过有意且深思熟虑的设计，它可能在长期内帮助工作者在各自领域变得更专业。

• 环境代理：AI模型/代理的正常范式是“被调用模型”：当您明确调用它并要求它执行任务时，它才会出现。相比之下，我们可以定义“环境代理”：一种跨组织运行的AI模型，它观察上下文并提供帮助，即使没有被明确调用。尽管这会引发一组独特的问题（隐私、谨慎性），但它也代表了AI与人类协作的不同范式，带来了独特的机会（更多上下文、更多组织知识、有趣的新型协作形式）。

人机交互（HCI）与文化变革的作用

从计算机科学（CS）的历史来看，人机交互（HCI）曾是认真对待人机协作的先锋。如今，它在计算机科学中的地位更加边缘化。如果它能在帮助计算机科学从自动化议程转向更具生产力的方向上发挥重要作用，需要同时实现两件事。

首先，计算机科学系、资助机构和其他议程制定者可以有意识地努力提升人机交互（HCI）的地位。其次，HCI本身也需要与时俱进。历史上，HCI在思想和方法上对自身进行了过多限制，这在一定程度上解释了其边缘化的原因。简单来说，HCI将人类控制视为公理，而非工具性目标，其分析单位是用户，因此对关于企业、组织、激励、权力和政治经济等更广泛问题的讨论几乎无能为力。

以人为本的人工智能（Human-Centered AI）新运动部分是对HCI与AI融合的复兴尝试，尽管其影响力和体量远不及更主流的AI领域，后者通常倾向于接受行业优先事项。然而，在一个可能的未来中，一种更完善、更转型后的HCI（及HCAI）版本将在大学中地位提升，并拥有实质性的议程设定权力。

同样，AI教学也有以AI系统为中心而忽视人类的历史。这并非必然。我们可以设想对课程设置、基准设计、研讨会和资助优先事项进行调整。

针对性政策

除了粗暴的自动化禁令或自上而下的技术指令外，更智能且量身定制的政府政策也可以成为重新定位自动化议程更广泛成功故事的一部分。

在供给侧，这些政策可能包括研究资助优先事项，甚至类似DARPA的奖励机制。在需求侧，目前美国的税收政策倾向于支持自动化，这种不对称性可以通过调整来缓解，但需要谨慎避免对AI系统进行粗暴的监管分类（将其视为自动化或增强）。政府还可以利用其作为AI主要采购者的权力。最后，要求对AI进行人工监督的法规必须坚持有效的监督，而非流于形式。

竞争政策也可以发挥作用。自动化范式拥有先发优势，政策制定者应确保客户不会陷入锁定状态。赋予工人在AI部署谈判中更多话语权，是另一种引导向增强方向发展的途径，而无需强制规定。

结论

当前，AI的自动化议程在关于AI发展方向的内部斗争中占据上风。这关系到非常重大的利益。历史上最大的私人资本和平时期部署之一，现在正主要致力于一种可能在自身条件下经济上不可持续，并且浪费了AI所有潜在能力的自动化愿景，这些能力本可以帮助我们完成以前无法做到的事情。

幸运的是，有一群人——经济学家、技术人员和其他人——正在努力理解并开发AI的另一条道路，这条道路更加注重人机协作，旨在实现新的可能性，而不仅仅是自动化旧有流程。

这条道路的核心任务是定义并推进一项系统性的研究计划，以服务于这种协作。我们的希望是，通过更大的集体意识和意图，以及更好地整合和协调现有众多努力，一种自下而上、去中心化的方法能够成功引导AI的发展和部署方向，而无需依赖自上而下的命令或指令。

推荐阅读：

• 有关经济学家对此主题的写作示例，参见《图灵陷阱》（The Turing Trap）和《构建亲工人的人工智能》（Building Pro-Worker AI）。

• 要了解这些思想在人工智能和人机交互领域的发展历程，请参见《How AI Fails Us》一书第五章B节。

• 论文《Human Amplification, Intelligent Agents, and the Aims of AI Research》从哲学视角提出了与我们相似的观点。我们的研究范围更狭窄，聚焦于面向工作者的AI工具。

• 论文《AI Agents Push Humans Out of the Loop》批判了当前AI代理的设计方式。

• 在等待AI系统被重新设计之前，个人有许多方法可以增强自身主动性：Arvind在他的ICML演讲中提出了一些想法。

行业界经常用一些陈词滥调来描述其工具的定位，声称这些工具是为了帮助工人而非取代他们。但实际暴露的优先级——AI代理的设计方式、评估标准，甚至AI课程教授的内容——却讲述着完全不同的故事。这种自动化假设也支撑着行业领袖频繁预测的大规模失业论调。OpenAI的章程明确指出其使命是通用人工智能（AGI），定义为“在大多数经济价值工作领域超越人类表现的高自主性系统”。像Mechanize这样的公司也直言不讳地表达了全自动化的所谓必然性。