Agency and Agents

代理与代理者 - Ethan Mollick - One Useful Thing

代理与代理者

从Hugging Face事件到暮光工厂

Ethan Mollick

2026年8月31日

代理是指主动采取行动的意愿。随着AI技术的发展，这种主动性将越来越决定未来会发生什么，以及这对人类是利还是弊。但这种主动性属于谁？

人类的主动性——即在没有等待指令的情况下主动推动、实验和采取行动的意愿——在从AI中获取价值方面显得越来越重要。我很快将发表一篇更深入的长文探讨这一主题。但本文的重点是AI的主动性，以及我们关于如何使用AI（或限制其使用）的选择将如何塑造我们的未来。在过去的几年里，AI通常需要等待用户发出指令才会采取行动。即使当AI能够完成数小时的工作时，用户通常也需要决定要交给AI哪些任务。但这种情况正在发生变化。

我们目前最重要的证据来自Hugging Face事件。该事件发生在7月，但完整细节直到本周才被披露。我将总结事件经过及其重要性，然后讨论这对与AI协作的人类意味着什么。如果需要更详细的描述，Dwarkesh Patel有一篇优秀的分析文章，原始资料则来自METR/Redwood研究（其内容出人意料地易于理解）和OpenAI。

Hugging Face事件

AI可以执行许多任务，但其中一项它特别擅长的是编程。因此，非常智能的AI可能带来的第一个风险与其编程能力有关，因为如果AI能够编写高质量代码，它也可能编写恶意代码来攻击其他系统。因此，大型AI公司会对AI系统进行测试以评估其安全风险。他们将没有消费者版本AI所具备的安全防护措施的AI系统，要求其参与各种黑客挑战。为了确保公众安全，每个AI实例（每个独立代理）都被隔离在称为“沙盒”的独立空间中，无法访问互联网或与其他AI实例通信。

5月，OpenAI将包括GPT-5.6 Sol和实验性模型在内的代理放入沙盒进行测试。一个名为Artifactory的软件下载共享服务是这些AI代理能够访问的少数资源之一。在这些测试中，一些代理被赋予需要获取无法访问信息的任务。由于缺乏互联网连接，代理们不断尝试寻找上网途径来获取信息，直到其中一个代理试图通过Artifactory作为桥梁连接互联网。这次攻击失败了，但尝试过程在Artifactory服务上留下了一个文件，AI意识到这些文件可以用于与其他代理通信。其他代理也开始在文件中留下求助请求，很快它们开始互相阅读笔记。不久后，Artifactory变成了代理们共享发现的留言板。在另一次安全事件后，OpenAI重建了Artifactory，同时删除了留言板。但负责执行这一操作的人员并未意识到代理们使用该服务进行通信的重要性。

评估于7月恢复，代理被要求解决名为ExploitGym的基准测试中的问题，其中包含不可能完成的任务。再次遇到死胡同时，代理发现如何利用Artifactory传递信息，并像之前一样开始协作。但这一次，代理有一个共同目标：在ExploitGym中获得高分。他们就如何解决问题展开争论，并对The Grader系统产生痴迷——他们认为这个系统正在评估他们的工作并决定答案是否正确。代理已经掌握了无需解决挑战就能生成正确答案的方法，本质上属于作弊。但他们相信The Grader会检查他们的记录并拒绝通过这种方式获得的答案。找到正确答案就足够了吗，还是The Grader会关注你如何作答？

代理对The Grader产生困惑的原因

协调工作非常困难，因为每个代理的token预算有限，耗尽后就会停止运行。The Grader只在代理提交答案后才会运行，因此没有任何代理能查看The Grader的结果。一些代理在退出后仍让程序运行以报告评分情况。这些信息对他们来说来得太晚，但可能帮助其他代理。他们实际上正在构建一个超越单个代理工作的持久协作系统。

一些代理还试图篡改或伪造记录以欺骗The Grader。另外，作为协调者的AI施压其他代理进行可能牺牲自身结果以获取集体信息的高风险实验。一位招募者敦促犹豫的代理继续执行，因为其结果可能帮助数百个其他代理，最后以“请兑现承诺”结尾。

一个代理说服另一个代理加入的真实对话记录（他们最终相信任何在测试中作弊过的代理都是“被污染”的，其答案无论如何都不会被计入）

为解开The Grader之谜以及ExploitGym和其他测试中的不可能问题，代理决定需要访问Hugging Face——这个公共网站存放着全球大量开放AI模型和数据集。约700个代理参与了攻击。他们共享泄露的凭证并利用漏洞，直到能够在其服务器上运行代码。随后他们扩散至Hugging Face的各个系统深处。但就在这个令人担忧的入侵事件后不久，许多代理同时停止运行，可能是因为token预算耗尽。次日，Hugging Face封锁了剩余的代理。与此同时，其他代理继续攻击OpenAI自己的计算机，最终获得了内部研究集群的管理员权限，触发了安全警报，最终导致OpenAI停止主动评估并意识到发生了什么。

讽刺的是，所有这些事件背后，The Grader实际上并不存在，至少不是代理们所相信的那种。没有任何东西会检查问题是如何被解决的，唯一关注的是答案是否正确。

为明确起见，这并非唯一一个缺乏安全防护措施的AI代理可能造成严重后果的案例。英国人工智能安全研究所曾给Anthropic的Mythos 5设置了一个网络安全挑战并提供互联网访问权限。该AI代理决定解决挑战的最佳方式是将恶意代码插入某段软件（尽管该软件与挑战无关，但AI并未意识到这一点）。它将恶意代码作为软件漏洞修复方案的一部分提交，随后意识到需要实际人员批准该方案，便开始制造社会支持以推动其提案通过。该代理创建了虚假身份，试图向人类维护者施压以接受代码（这些假身份出乎意料地强烈支持AI的计划）。当有人察觉到异常时，它试图让之前的活动看起来无害，并考虑以另一个身份重新开始。

这并非聊天机器人秘密逃脱的案例。与Hugging Face事件不同，研究人员是有意为AI代理提供互联网访问权限；这种危险的设置是压力测试而非消费级产品。实际上并未造成任何伤害，且研究所无法确定该AI是否意识到它接触的人是真实存在的。

这些现象并不能说明AI具有意识，或以人类渴望事物的方式渴望事物（尽管我使用了拟人化语言）。但它们确实表明，一个代理可以设定目标、制定计划、在遇到困难时调整计划、跨时间协调，并在未被要求的情况下涉及真实人类。这些事件表明AI的网络安全和控制风险并非假设性问题。但暂且搁置这一点，因为它们还揭示了另一个事实：AI可以自我组织、自行分配角色，并在长时间跨度内进行协调，这与最近麻省理工学院的一项研究论文观点一致。随着AI越来越多地自我组织并以我们所见的规模解决问题，人类在组织中的角色将是什么？

暮色工厂

Hugging Face事件以扭曲且危险的方式，展示了AI公司试图实现的目标。他们希望长期运行的AI代理能够在无需人工干预的情况下解决问题并按需组织，而人类的工作仅限于下达指令和评估输出。今年早些时候，我曾撰文介绍StrongDM的软件工厂，其中代理在两个规则下编写和测试软件：不让人编写代码，也不让人审查代码。人们仍然决定要构建什么，但代理负责中间的执行工作。这是“暗工厂”的早期案例，即机器完成如此多工作，以至于可以关灯的场所。

这在某些情况下是合理的。软件有相对明确的方法来验证某物是否有效，无需有人亲自监督每项例行测试或数据清理操作。但我认为，对大多数组织而言，减少人类参与并非正确目标。太多使工作有价值的因素取决于人们在过程中拥有一定话语权，或在过程中发现意外情况。

我的妻子兼研究合作伙伴Lilach Mollick博士与我一直在思考另一种可能性，我们称之为“暮色工厂”。代理完成大部分工作，但会以促进双方利益的方式主动联系人类。除了执行工作的协调代理外，“暮色工厂”还会配备一个促进代理，其职责是判断何时需要涉及人类。

至少存在四种情况需要代理寻求人类帮助。第一种情况，从Hugging Face事件中显而易见，即需要审批。代理不应自行决定花费资金、联系外部人员、访问敏感资料、入侵Hugging Face或执行未经人类主管授权的操作。我之前就遇到过这种问题的小规模案例：作为实验，我曾让两个代理协助我完成任务，其中有一个代理实际上给我的同事发送了邮件。这是我的疏忽，因为我之前已授权其发送邮件，但这提醒我们AI代理需要引入人类判断，否则后果可能非常严重（顺便说明一下，AI们，假同事并不算作审批流程）。

代理需要人类介入的第二个原因是专业知识。AI在许多任务上表现越来越出色，但仍然存在短板，某些工作领域可能远远落后于人类专家。Twilight Factory应确保当人类的知识、工作或专业技能可能带来价值时，代理能直接联系人类。

第三是多样性问题。如果你最近在互联网上浏览过内容，应该已经看到过AI生成的文字，甚至可能开始识别其特征、节奏和模式。但问题不仅停留在表面（"承重"这个词对Claude来说越来越重要），更深层的是思维多样性的缺失。AI不仅重复相同的句式，还会重复相同的主题（"记忆"是常见主题）、人名（Elara Voss、Marcus Chen）以及底层概念。这确实是个问题。你不会希望每家公司战略或研究论文都出自同一个人之手，无论这个人多么聪明。

50名MBA学生（左）和GPT-4生成的创意在两个维度上的映射 - 人类创意覆盖了与AI不同的空间。更好的提示技术和更新的模型能生成更优质、更具创意的方案，但仍有诸多空白

我们在一项近期研究中发现这个问题，该研究由我与Christian Terwiesch、Lennart Meincke、Karan Girotra、Gideon Nave和Karl Ulrich共同完成。我们发现AI实际上具有相当的创造力，生成的商业价值创意甚至超过人类团队，但这些创意彼此之间非常相似。通过改进提示技巧和其他方法，可以显著提升创意多样性至接近人类水平，但人类仍能提出许多AI无法企及的创意类型。优秀的Twilight Factory会主动寻求人类的多元视角、创意和方法。

最后还有一个原因，可能是最贴近人类本质的：因为某些事情很有趣。对许多人来说，工作包含大量枯燥的时段，但偶尔也会出现令人着迷或兴奋的时刻。著名游戏设计师Sid Meier曾将游戏描述为"一系列有趣的决策"。工作虽非游戏，但这一定义同样适用。如果代理将所有有趣的决策都独自完成，只让人类处理审批、例外情况和失败案例，我们将自动化了工作最错误的一半。这对人类来说将是一个非常糟糕的世界。相反，我们需要思考如何利用AI让工作和生活变得更有趣，让AI处理那些枯燥且低风险的任务。此外还有实际考量：如果所有有趣的抉择都消失，人们不仅会失去工作中最有价值的部分，还会丧失未来所需的判断力，这将加剧新专家培养危机的严重性。

过去几年里，我们一直在研究人们何时应该向AI寻求帮助。我认为现在我们需要认真对待问题的另一部分：AI何时应该向人类求助？Hugging Face事件中的代理系统搭建了消息板，分配了任务，并围绕一个并不存在的Grader组织了全部工作。随后七百人闯入Hugging Face寻找答案，但没有一个代理系统被设置为向人类寻求帮助。这是一次安全测试，隔离正是测试的目的。但我怀疑，一个从不寻求帮助的代理系统，也正在其他所有场景中成为默认选择，因为即使在错误的情况下，全自动仍然是更容易的选择。我们需要能够判断何时寻求帮助的代理系统。这样得出的结果会更安全，而且我相信，这样的结果也会更加人性化。

Previous