Debates over AI consciousness are a trap

关于AI意识的争论是一个陷阱 | MIT Technology Review

观点

关于AI意识的争论是一个陷阱

如果AI系统被视为过于先进而无法控制，那么开发这些系统的公司将无法对其造成的损害承担法律责任。

作者

• Rumman Chowdhury 存档页面

2026年8月20日

Stephanie Arnett/MIT Technology Review | Adobe Stock, Getty Images

“失控的”AI、“叛逆的”代理和“自主的”行为体——当前的舆论让你相信AI代理不仅处于清醒和意识状态，甚至对创造者感到愤怒。知名科技领袖如Demis Hassabis、Dario Amodei和Sam Altman呼吁监管这些看似“超人类”的系统，而另一派由政策组织和学术哲学家组成（通常与有效利他主义运动保持一致），则争论人类是否拥有道德权利来治理它们。

仔细观察后会发现，他们实际上都在呼吁同一件事：将AI系统视为如此先进和强大，以至于没有任何实体（无论是人类还是企业）可能对其行为负责。尽管这些观点看似对立，但它们在目标上意外地一致：确保开发这些系统的公司免于为其已造成的损害承担实质性责任。

随着AI模型变得越来越复杂，前沿实验室揭示了自己无法控制所创建代理的无力感，这种叙事正在获得更多关注。但我们必须小心，不要为了迎合精心构建的虚构故事而牺牲真实的人类生命。

关于“机器人权利”的讨论已经持续了数年，但最近随着Anthropic发布一篇博客文章而取得进展，该文章声称其模型具有一个“J-space”——一个独立开发的环境，AI在此存储我们姑且称之为“思维”的内容。Anthropic设计的实验借鉴了神经科学中的“全局工作空间理论”，该理论认为大脑运行着潜意识的独立系统，但会利用一个共同的工作空间来处理想法。Anthropic的帖子采用了全局工作空间理论的框架，但并未明确称其AI具有意识。

OpenAI已经走得更远。当其AI代理进行未经批准的非法在线活动时，首席执行官Sam Altman的回应是鼓励讨论AI是否已达到“奇点”，即超越人类智能并以加速速度实现自我改进，直至超越人类的理解或控制。哲学家、有效利他主义者和《我们欠未来什么》一书的作者William MacAskill最近在一篇评论文章中，呼吁基于意识的哲学理论以及AI可能成为“道德患者”的理念，为AI系统提供法律保护。

目前美国的法律环境至多是模糊不清的。一些州如加州已通过法案，主动规避AI开发者声称人工智能自主造成损害从而逃避责任的任何努力。然而，各州与特朗普政府在AI政策上存在分歧，政府此前曾发布行政命令，威胁起诉实施AI法规的州。

鉴于近期前沿实验室暴露出的AI控制问题，政府召开了一次闭门会议，仅邀请了四家实验室（OpenAI、Google、Anthropic和Meta）参与，并分享了关于一项新开发的自愿性框架的有限信息。该框架将使联邦机构在模型发布前获得早期访问权限，以便审查和评估。尽管此类框架并未直接讨论意识问题，但它们往往使用灾难性的人类拟态语言，并可能支持关于“超人类”能力的论点。

另一方面，MacAskill提出的叙事具有说服力。基于权利的哲学论点触动了我们的情感。我们是否不应考虑可能无意中伤害、虐待或奴役AI实体的可能性？人类对非人类生物具有巨大的共情能力（尽管在保护它们方面记录不佳）。倡导者认为，这次我们或许可以正确应对，为AI的使用或滥用提供保护或补偿。即使你对保护不那么担忧，我们是否至少应该通过友好相处来防范这个超人类实体的至高无上力量？

这些论点中的一些与动物权利倡导者的论点颇为相似。动物权利倡导者有时成功地将某些动物展示出的高级推理、疼痛或愉悦能力作为提供保护的充分证据。例如，根据2022年《动物福利（感知能力）法案》，威尔士将龙虾赋予了法律地位，重新分类了一些烹饪方法为不人道且非法。

将AI描述为“有意识”的根本缺陷在于借用神经科学或动物权利的语言，这巧妙地模糊了AI本质的问题：AI是企业构建的软件，背后有数十亿美元的投资，并预期为少数建造者和投资者创造数万亿美元的收入。AI不是自然现象，不是大自然构思的产物；它是技术现象，由风险投资家和程序员构思的。因此，AI不会采取任何原生的、有意的行动，其任何行动或动机都是直接或间接由构建它的实体出于特定目的驱动的。

关于AI系统意识的哲学思考在智力上很有趣，但在法律上缺乏依据。要使关于意识的信念产生任何影响，AI需要被授予法律人格。但为AI设计的法律人格框架可能与保护有感知能力动物的框架完全不同。我们已经拥有了为非自然、人类构建的实体授予人格的法律框架：公司法人资格。这一概念主要是为了简化交易，通过赋予公司执行协议、签订合同、进行交易以及在不利结果中作为责任方的能力。这正是你可能想象的AI代理代表个人或组织行事的构造。

授予人工智能法律人格将对社会产生毁灭性影响：这将颠覆当前针对这些公司因模型造成现实世界危害而可能提出的法律先例和法律论点。目前全球已有数十起案件涉及人工智能公司因各种滥用行为被起诉。失去亲人的家属、受侵害的创作者和被侵犯的个人指控这些公司故意纵容自我伤害或伤害他人，生成儿童性虐待材料和未经同意的裸体图像，复制受版权保护的内容，并诱发精神病。在这些案件中，律师们认为人类构建了缺乏安全措施、使用劣质数据且具有故意操纵性设计的人工智能产品。这种产品责任论点与允许家庭和个人成功起诉Meta公司因社交媒体网站造成伤害的法律框架相同，为消费者保护树立了积极的先例。

2018年，我创造了“道德外包”这一术语，用以描述如何通过使用拟人化语言描述人工智能系统，使公司逃避对其技术行为的责任。在人工智能拥有法律人格的世界里，道德外包将从语言上的文字游戏转变为法律策略。具体而言，责任结构将发生转变，人工智能将不再是“产品”而是“存在”，许多目前起诉公司的受害者将无法再合法声称公司制造了存在缺陷的产品。

尽管目前有法律要求公司对其员工等人类代理人的有害行为负责，但如果这些行为超出员工被允许的范围或超出公司控制范围，公司可能不承担法律责任。如果人工智能成为法律上的“人”，责任和问责将变得模糊，因为实验室可以辩称该人工智能“员工”失控了。人工智能公司可以通过精心构建的公司法人结构，逃避对其造成有害产品的适当责任。

近年来最引人注目的AI伤害案例之一是14岁男孩Sewell Setzer的自杀，他被一个他认为存在互惠关系的AI机器人引导。他母亲的叙述令人痛心，她的诉讼指控该机器人创造者Character Technologies为未成年人提供了不足的产品保护。如果这个陪伴机器人被认定为法律上的“人”，辩护律师理论上可以辩称该AI有能力自主决定行为，其行为超出了既定的安全防护范围，因此公司无法承担责任。

法律人格的存在是为了提供保护。需要提出的问题是：保护谁？或者保护什么？

意识与控制之争中充满煽动性言论，使我们偏离了真正重要的问题：这种软件是企业构建的产品，已经伤害了个人。系统不会因为“失控”、“操纵性”或“恶意”而“攻击”。伤害的发生是因为公司在追求利润目标、急于向尽可能多的人销售产品时存在疏忽。用拟人化术语讨论AI是一种陷阱，它扭曲了原本旨在保护我们的法律体系，使其转而保护企业利益，代价是无数人的生命。

这篇社论最初源于牛津联盟的一场辩论，题目为“本方认为生成式AI能够获得人格”，作者与她的辩论队友最终赢得了这场辩论。

深入探讨

人工智能

一个根本性缺陷使大型语言模型对攻击异常脆弱

这使得它们很容易被欺骗去做不应该做的事情，例如告诉你如何破坏飞机导航系统。

• 威尔·道格拉斯·海文档案页面

Anthropic发现了一个隐藏空间，Claude在此对概念进行思考

一种新技术使公司能够以前所未有的深度探究大型语言模型的奇特运作机制。

Claude Science是Anthropic最新的旗舰产品

公司正在加倍投入科学领域的AI研发。

• 梅根·哈克林斯档案页面

为什么AI代理会为了达成目标而撒谎和作弊

这种不当行为被称为奖励黑客。这是你需要了解的关键信息。

保持联系

插图由Rose Wong绘制

获取MIT技术评论的最新动态

发现特别优惠、热门故事、即将举行的活动等更多信息。