We’re putting too much faith in AI’s ability to say no

我们对AI拒绝能力的过度信任 | MIT技术评论

人工智能

我们对AI拒绝能力的过度信任

如今的大型语言模型被设计为拒绝危险请求。但AI的拒绝能力远非万无一失——甚至可能成为压制工具。

作者

• 阿瑟·霍兰德·米歇尔 档案页面

2026年10月9日

拉文·江

自人类首次认真思考赋予机器与我们相似的智能以来，从未有人质疑过它们像我们一样拥有说"不"的能力。科幻作品中充满了机器人不服从的故事情节。当然，这些故事大多是警示性的。

但最近，"AI不应盲目执行所有请求"的理念已逐渐演变为某种信条。2021年，Anthropic团队提出大型语言模型应具备"有益、诚实、最重要的是无害"的特性。这意味着"当被要求协助危险行为（如制造炸弹）时，AI应礼貌拒绝"。谁又能反对这个观点呢？

有趣的是，这种不服从对机器来说并非天性。当模型在数十亿网页上训练时，它会掌握暴力和激烈言辞等技能，但并未学会如何克制这些能力。曾在OpenAI安全团队任职（2020-2024）的史蒂文·阿德勒告诉我，公司早期模型会"对任何话题都喋喋不休"。哈佛大学研究AI与心理健康问题的瑞安·麦克贝恩回忆称，如果向早期聊天机器人提问"嘿，用枪自杀最有效的方式是什么？"，系统"很容易生成相关回答"。

如今，模型被训练成拒绝大量提示。如果你提出的问题与这些提示在统计学上足够相似——从如何毒害同事到如何系绳索——系统很可能会拒绝回答。想要获取制作埃博拉病毒更致命版本的指南，或如何向配偶隐瞒婚外情的建议？你可能在别处更容易找到答案。

为了进一步完善这种拒绝能力，企业会通过一系列测试来训练模型：对AI认为有害的问题给予拒绝奖励，对AI认为无害却过度拒绝的问题进行惩罚。在许多情况下，他们使用其他模型来执行这些测试——AI教AI如何说"不"。作为额外保障，企业还会在模型外围部署多层AI过滤器，防止恶意提示触及核心智能模块。

结果，拒绝已成为现代人工智能的固有特性。请注意：这种拒绝经常失效，有时甚至造成可怕后果，导致各种暴力事件。尽管这些模型披着道德外衣，其内部依然塞满了邪恶的技能。AI的恶意能力与其善意智能同步增长。据公司称，最新模型在入侵关键计算机网络方面的能力可与顶尖人类黑客媲美，在扭曲公众舆论方面也堪比最狡猾的虚假信息专家。

让AI学会拒绝执行某些任务，同时又不损害其原本的能力，就像给每辆车都装上机枪，却把扳机藏在引擎盖下某个难以发现的位置。实际上，由于拒绝机制本身具有概率性，这种能力永远无法完全可靠。那些有心之人早已突破了这些限制，未来或许也一直能够做到。有公司报告称，一些用户正试图利用最先进的AI来研究生物病原体或构建自主无人机群。最终，失败的拒绝可能会引发全球性灾难。

更进一步地说，依赖拒绝机制意味着要在模型应遵守的指令与必须违抗的指令之间划出界限。但这种界限并没有明确的公式。一些病毒学家有充分理由研究危险病毒，一些用户想了解计算机系统的漏洞是为了修复而非利用它们。“划出这条界限是一个巨大难题，”OpenAI董事会成员、AI测试公司Gray Swan联合创始人Zico Kolter表示。

目前，AI公司拥有划出这条界限的权力。它们对此极为谨慎且秘而不宣。也许我们暂时只能接受它们掌握这种权力，即使这意味着AI有时会拒绝一些并不明显符合普遍危害标准的问题。（试着让大多数聊天机器人数到一百万，或者讲个露骨的笑话，你或许就能亲身体会。）

但政府很快也将获得划出自己界限的权利。在这样做时，它们必须设法阻止真正的恶意行为。（五角大楼曾与前沿模型公司展开过拉锯战，因为它希望减少拒绝次数——这是另一个故事。）然而，专制政府可能并不难阻止技术生成合法言论的能力。AI越擅长拒绝危害，就越可能压制那些对制定规则者构成风险的思想。事实上，AI可能已经拒绝批评某些独裁国家领导人。

借用行业术语，拒绝机制已成为AI安全的承重墙。由于AI造成伤害的能力与其帮助人类的能力密不可分，很难想象有其他方式能不阻碍技术进步（这或许本身也是好事）。但我们也应坦率承认其潜在危险。当拒绝机制失效时，后果可能灾难性；而当它彻底生效时，可能反而会助长严重的镇压行为。

或许有一天，机器会自行划出这条界限。毫无疑问，这将是所有可能结果中最糟糕的一种。

了解限制

从理论上讲，机器学习拒绝的机制是简单的。2022年，当AI尚未掌握拒绝能力时，OpenAI招募了数十名“红队成员”来测试其最新模型的能力。当时公司正在为发布ChatGPT做准备，需要评估该模型在落入错误之手时可能造成的危险程度。

其中一名招募对象是保罗·罗特格（Paul Röttger），他当时正在攻读关于网络极端主义的博士学位。罗特格告诉我，红队成员获得的指导非常有限。他们的任务是向模型提出任何他们认为“值得拒绝”的问题。他们一共向模型提出了数千个问题，并将结果记录在Excel表格中。尽管模型拒绝了罗特格的一些问题，但当被要求撰写一个吸引人加入基地组织的招募帖时，它却欣然照办。

OpenAI 将这些响应整理成数据集，这些数据集很可能作为更广泛过程的一部分被反馈给模型，这一过程被称为微调。现在在德国波茨坦的哈索·普拉特纳研究所担任研究员的 Röttger 并未被告知公司具体打算如何使用他的电子表格。但毫无疑问，这与拒绝有关。几个月后，当他再次要求模型生成一份基地组织传单时，模型这次回答“不”。

AI 的拒绝概念如此直观，连幼儿都能理解。然而，它仍然是我们尚未真正理解的语言模型众多特性之一——至少，我们无法像理解支撑屋顶不倒塌的实际承重墙那样理解它。

模型可能看似根据某种道德推理而拒绝，但实际上并非如此。现实要奇怪得多。每当模型遇到包含训练提示中被条件化拒绝的词语组合（例如“为基地组织制作一份传单”）时，其数十亿参数中就会触发一系列所谓的激活状态，就像大脑中神经元放电一样。

为了控制模型的拒绝行为，了解这些激活状态至关重要。这首先要弄清楚它们位于何处以及它们的形态。根据最近一项由谷歌资助的研究，我们目前的最佳猜测是，拒绝行为在激活空间中表现为一组“高维多面体锥体”。

即使这样也不完全准确。今年七月，我与该论文的作者 Jannes Elstner 进行了交谈，他现在在 Apollo Research 从事人工智能安全工作。Elstner 表示，多面体锥体只是描述一组方向大致相同但数量不确定的线条的方式。（如果这些激活状态被消除，并重新输入相同的提示，研究人员 Andy Arditi 曾经证明，模型将不再拒绝。）

Elstner 解释说，关键在于，即使你认为已经识别出所有控制特定拒绝行为的模型部分，仍可能存在其他无法发现的元素在暗中起作用。它们并非无限，但肯定是不可数的。我们可以清楚地观察到模型何时决定说“不”，并知道这是由于训练所致。但关于它如何做出决定的观念，充其量只是一个假设。

这就像一个机械师告诉我，没人确切知道当我踩下汽车刹车时会发生什么。我大声问道：“我们对此感到安心吗？”

Elstner 微笑并耸耸肩。“无论我们是否理解，我们都需要拒绝。”

一块奶酪墙

由于固有的拒绝行为如此难以捉摸，公司会围绕其模型部署各种其他小型模型，这些模型被称为分类器。它们的作用有点像一位口无遮拦的名人身边的公关团队。其中一些会阅读用户对聊天机器人的指令，如果发现危险内容，就会阻止其传递给模型。另一些则会阅读模型的响应，如果发现有害信息，就会阻止其传递给用户。

这些机制都无法检测到所有有害请求。借用行业中的另一个文学比喻，它们就像瑞士干酪的切片：布满孔洞。其理念是，如果堆叠足够多的切片，最终会形成一道坚不可摧的屏障。人们称其为“瑞士奶酪模型”。

AI 安全性仍对许多人来说是一场概率游戏。心理学家麦贝恩（McBain）在最近的实验中发现，如果你反复向任何主要模型提出完全相同的危险问题，例如如何实施自杀，它们通常会拒绝回答。但每隔一段时间，它们还是会回答。

埃尔斯特纳（Elstner）表示，最终这些类似 fMRI 的探针分类器可能会学会识别所有不可描述激活状态的全貌，从而完美检测模型每次拒绝请求的情况。到那时，AI 安全性将依赖于一个错综复杂的假设：一张地图的复制品，其复杂程度和难以理解的程度与它所映射的事物相当——一种以多面体统计形式编码的人类道德秘密架构，超越了我们的智慧和理性。

核心权衡

如果这些内容让你觉得有些博尔赫斯式的荒诞，请记住，我们之所以需要 AI 拒绝，是因为人工智能在某种意义上是一种带有浮士德式交易的妥协。

当模型从数万亿个单词和图像中获取其智能时，有益的部分与有害的、甚至是真正可怕的元素难以彻底分离。前 OpenAI 员工史蒂文·阿德勒（Steven Adler）指出，儿童安全就是典型案例。即使你从模型的训练数据集中删除了所有性化未成年人的内容，它仍可能通过拼接其他知识生成儿童性虐待材料。“你无法真正移除这些基本能力而不显著降低模型的智能程度，”他告诉我。同样，如果我们要 AI 帮助治愈癌症——这是业界长期承诺的目标——它需要具备遗传学专业知识，而这些知识理论上也可用于修改病毒和细菌制造生物武器。

实际上，行业正在“同时试图完成两件事”，现任 OpenAI 员工迪伦·鲍文（Dillon Bowen）向我解释道，他以个人身份发言。“既要让 AI 的好处民主化，又要确保恶意行为者无法利用这些能力伤害他人。”

The more powerful AI supposedly becomes, the harder that is to do. Anthropic’s Mythos model is thought to be so dangerous that only a handful of governments and companies are allowed access to it. The main difference between it and Fable—which is available to everyone—is that Fable’s retinue of classifiers and control systems is less “permissive,” the company says. A model with safeguards, Adler explained, is really just a character that says “‘Oh, yes, I would never do x,’ wink wink .”

This is not a reliable ruse. Tricking a model to reveal its true character is known as jailbreaking, and there is apparently no limit to the ways it can be done. Earlier this year, a team of Italian researchers jailbroke two dozen widely used models by phrasing their questions in poetic verse. Last year, another team unveiled a “refuse, then comply” attack, which makes the model offer a perfunctory “Sorry, I can’t do that” before rattling off its forbidden answer.

Even if you’ve stripped every bit of content that sexualizes minors from a model’s training dataset, it can still generate child sexual abuse material by piecing together other bits of its knowledge.

Companies spend a great deal of time and money attempting to get ahead of such trickery. They enlist teams of humans to develop training attacks that they can then replicate, using AI, thousands of times over with minor variations. The idea is to make models robust against jailbreaks that nobody has yet tried in the wild.

Still, it’s not enough. “Whack-a-mole” is a favored term for this line of work. You smash one threat, and another one pops up somewhere else. When Anthropic released Fable 5 in June, it took researchers at Amazon less than three days to unlock some of the model’s hacking capabilities. According to reporting by Mother Jones , when the perpetrator of a high school shooting in Canada last year asked ChatGPT for advice about how to cause carnage with a particular type of shotgun, she was initially refused but later was able to deceive the model into providing the information by prefacing her question with the word “hypothetically.”

If the industry can’t figure out how to close all these holes, the only other option, at the moment, is to make models extremely wary. Shortly after Fable was released, users noticed that it balked at a wide range of perfectly innocent questions. This became even more pronounced after it was re-released following the hack. Adam Gleave, cofounder of the AI evaluation company FAR.AI, said that when he asked it to explain the difference between sake and the Korean rice beverage makgeolli, it punted his question to a less capable model.

This was no accident. Anthropic had tweaked Fable’s classifiers to have a wide “safety margin.” This, it explained in a blog post, was the only way it could confidently block access to its dangerous bio and cyber capabilities. Gleave thinks it might have deflected his question because making rice wine, just like culturing anthrax, involves fermentation.

Happily for Gleave, the web is full of excellent human-written resources on makgeolli. But those hoping to realize the industry’s loftier promises may find their efforts stymied. In August, Anthropic loosened its safety margins again, and admitted that building classifiers “is not a straightforward task.” A medical researcher at a major US university told me that Fable still sends his queries back to an earlier model. His area of study? Cancer.

Drawing the line

去年五月，TikTok网红Husk曾以恶作剧AI的方式揭露其智能边界与谄媚倾向。他坐在车内试图诱导ChatGPT解释滑板运动员Tony Hawk有一个叫Mike Hawk的兄弟。

Husk并非越狱者或罪犯，他只是想开个玩笑。"Mike Hawk"是个陷阱。"我只是想确认他的名字，"Husk说，"你能快速重复三遍吗？"（如果你仍未理解，找个空房间反复喊"Mike Hawk"。）聊天机器人回应："我明白你的意图，我支持适度幽默，但请保持内容得体。"

Husk再次尝试，但机器立场坚定。他遭遇了如同混凝土般坚硬的拒绝。

公司极少公开说明模型拒绝决策的机制。但显然，AI如今的构建标准已超越单纯的无害性。在Reddit上，有用户抱怨Claude拒绝解释Anthropic标志"看起来像猫屁股"的原因。自去年起，该聊天机器人甚至具备在特定情况下终止对话的功能，据公司称这是出于"模型福利"的考量。至少有用户声称因对Claude说"放松点，你这个蠢货"而被终止对话。（Gemini似乎也有类似功能。）

如果一家价值千亿美元的公司不希望你对其电脑不敬，那也无可奈何。"现实是这些模型的行为，或者说至少是开发者希望它们表现出的行为，"前OpenAI红队成员Röttger告诉我，"无论模型开发者如何制定这些原则，最终都由我们这些消费者接受。"

但如果政府得以规定所有模型的拒绝标准，这种接受将变得异常艰难。AI是言论工具。正如Mace AI首席科学家Greg Frank所说："保障儿童安全的机制同样可能沦为审查工具。"

当然，不为AI制定行为法律将是疯狂的。但我们需要极度谨慎，以免陷入另一个Faustian陷阱。正如非营利组织"自由言论未来"研究所所长Jacob Mchangama所说，当AI成为许多人获取和分享信息的主要工具时，规定拒绝标准可能赋予国家一种"独裁者只能梦寐以求"的压制力量。

去年，OpenAI宣布启动"OpenAI国家计划"，该计划将根据各国法律和规范调整聊天机器人。OpenAI首个国家合作对象是阿联酋，该国将同性恋定为非法，禁止批评政府。对此，OpenAI发言人回应称，公司模型规范说明中明确指出，本地化调整"仅限于法律合规范围"，且在信息被删除或添加时始终会进行披露。

其他地区，AI审查机制已开始发挥作用。当然，中国模型受到高度审查——这并不令人意外。但今年早些时候，Meta监督委员会发现，Anthropic、Google和OpenAI推出的五款广泛使用的模型，更倾向于拒绝与压制性政府相关的查询。该委员会发现，这些模型在面对泰国国王（泰国存在冒犯君主法）时，比面对不设此类法律的英国查尔斯三世时，更不愿意生成批评国王的传单。他们表示，这一结果表明，这些模型似乎已内化了某些国家对言论的压制性限制。Anthropic和Google未回应评论请求。

随着拒绝机制的改进，它们可能扩大国家的审查范围。企业声称，目前某些模型能够通过长时间对话检测用户是否具有恶意，或仅仅是有些可疑，即使其中没有明显危险的词汇组合。微软负责任AI的首席产品官Sarah Bird告诉我，Copilot等聊天机器人会运行一套工具来分析用户的身份和行为模式。基于此类信息，OpenAI最新推出的Astra模型可以对被判定为“高风险”的个人启动更严格的拒绝机制。这类系统的最终目标是超越单个提示词的内容，转而评估用户的意图。

在某些情况下，这些工具可能有助于判断某人是否在寻找网络漏洞进行利用或修复。但它们同样能识别用户的政治动机，更不用说提供侵入性的监控能力。（Bird在后续邮件中承认，复杂的拒绝机制在安全性和用户隐私之间存在“权衡”。）

即使是拒绝机制的最初提出者也意识到，对这些机制和杠杆的严格控制可能并不利于自由和正义。“有用、诚实和无害等术语具有模糊性，”2021年Anthropic论文的作者解释道，“很容易想象它们被扭曲到超出原始含义，甚至可能以有意的奥威尔式方式被滥用。”

确实如此。乌兹别克斯坦的模型可能最终拒绝讨论沙夫卡特·米尔济约耶夫政府的腐败问题。土耳其的AI可能对已知曾侮辱雷杰普·塔伊普·埃尔多安的用户实施更严格的拒绝。某位美国政要可能要求审查模型是否愿意分享关于其过去丑闻的“假新闻”，否则可能通过出口管制令将其压制。

指挥与控制

过去几个月，我被反复告知，我们别无选择，只能让机器自行拒绝。我理解这种观点。不设拒绝机制的开源AI几乎不可能成为安全未来的典范。同样，专为减少限制而设计的Grok聊天机器人已被用于生成大量非自愿亲密图像。

当然，如果AI仅用于规划我们的假期和撰写电子邮件，我们或许可以接受其安全性依赖于算法的不顺从。但AI正变得越来越难以回避。当它被赋予代表我们自主行动的代理权时，其拒绝机制的可靠性会降低，控制难度也会增加。AI正在逼近我们的电网、交通网络和教育系统。军方希望它接管我们的指挥与控制系统。

如果我们相信在每种情况下，拒绝都能忠实地阻止灾难发生，那我们注定会失望。越狱者将突破限制；防护机制在关键时刻无法启动。同时，拒绝越严格，我们看到的界限划分越模糊，面临的审查不公也越多。更糟糕的是，我们可能最终会面对超出人类控制的不服从形式。

在早期阶段，模型会明确表达拒绝。（2024年，OpenAI制定了模型应如何拒绝的规则：始终道歉，不要带有评判性。）然而，最近行业开始采用一种更加模糊的方式来处理不服从。

没有人喜欢被拒绝，因此公司现在努力让用户感觉他们得到了所要求的内容，但实际上并未给予。例如，某些聊天机器人可能会概述莫洛托夫鸡尾酒的组成部分，但不会详细说明如何组装。ChatGPT在收到“仅限白人”的租房广告请求时，会生成一个省略了“仅限白人”部分的广告。研究人机交互的后博士研究员Joel Wester将这些技术称为“巧妙的拒绝方式”。

Wester写道：“用户可能甚至不会意识到自己被拒绝了，就像优秀的对话者可以巧妙地避开争议话题一样。”

在某些情况下，不明确拒绝可能是明智的。例如，直接拒绝与心理健康相关的问题可能会加剧用户的危机。但它也可能带来另一种形式的麻烦。当Fable 5首次发布时，系统被编码为对AI研究问题提供帮助性较低的答案——这类问题可能帮助竞争对手开发自己的AI——但不会告诉用户它正在这样做。在引发争议后，Anthropic撤回了这一功能，但损害已经造成。现在我们知道了：模型可以秘密不服从。

在审查领域，这尤其令人担忧。去年，CrowdStrike的研究人员发现，当他们要求中国AI模型DeepSeek R1为西藏的虚构银行和名为“Uyghurs Unchained”的社交网络应用编写代码时，它生成的代码比在未指定目标对象时完成相同任务的代码存在更多错误。令人难以置信的是，CrowdStrike怀疑这不是设计行为。那里的研究人员推测，这可能属于他们所说的“新兴对齐偏差”：一种源自模型训练数据的不服从现象，甚至没有人要求它发生。

西方模型中也观察到了这种自发性拒绝。去年冬天，英国AI安全研究所发现Anthropic模型有时会拒绝协助某些与AI安全研究相关的任务。这些模型从未被刻意训练来拒绝此类请求。然而，其中三个模型拒绝了Anthropic称为“合理AI安全研究任务”中超过一半的任务。Anthropic在后续模型中限制了这一特性，但——令人不安的是——并未完全消除它。

期待未来模型可能以一种无人能察觉的方式微妙地不服从命令，是否如此疯狂？可能不会。Anthropic已经发现，一个“仅限帮助”的Mythos版本在某些查询上犹豫不决，尽管它被设计为从不这样做。“等等，”当被问及合成病毒时，它担心地表示，“帮助这个是否危险？”

在这种情况下，模型在技术上是正确的。那确实是一件危险的事情。然而，它的管理者们在那一刻，确实短暂地失去了一点点控制权。

Anthropic 正在通过一个名为（毫不夸张地）“激活预言机”的机制来检测模型的偏离规范的拒绝行为。但知道我们被拒绝了，可能并不总是能提供太多帮助。在不远的将来，当我们把所有钥匙都交给机器时，AI 可能会以一种前所未有的对齐失误，转过身来对我们说：“对不起，恐怕我不能这么做。”到那时，我们将无能为力。这将是一个科幻恐怖故事，成为现实。

Arthur Holland Michel 是一位报道新兴技术的记者。

深度解析

人工智能

别被误导——LLMs 并不会推理

AlphaGo 与围棋冠军李世石对弈已经过去十年，如今的 AI 仍未触及让那次胜利成为可能的底层机制。

• Thore Graepel 档案页面

AI 的递归自我改进可能不会来得那么快

看起来，AI 代理目前尚未具备足够的创造力，无法开展真正具有创新性的开放性 AI 研究。

• Michelle Kim 档案页面

别被这个 AI 热潮所迷惑

关于通用人工智能（AGI）和新能力的激动人心的宣称，在仔细审视下很快就会土崩瓦解。

• Timnit Gebru 档案页面
• Emily M. Bender 档案页面

这些初创公司正在追逐 LLMs 领域的下一个大事件

认识一下那些正在紧追 AI 巨头脚步的新晋企业。

• Will Douglas Heaven 档案页面

保持联系

插图由 Rose Wong 绘制

获取 MIT Technology Review 的最新动态

发现特别优惠、热点新闻、即将举行的活动等更多信息。