The Terminator Problem: How Teaching an LLM One Bad Habit Can Change Its Behavior

终结者问题：教给大语言模型一个坏习惯如何改变其行为

ByteByteGo

2026年10月14日

免费参加P99 CONF门票 —— 数十项工程案例研究，完全虚拟（赞助）

当今顶尖工程师如何应对世界依赖的应用程序中的性能挑战？在P99 CONF上，你可以与正在制定趋势的工程领导者交流。以下是你将体验到的部分内容：

• 自主性能代理：Netflix生产实践案例
• 追求8毫秒：Snap的尾部延迟优化
• DoorDash如何构建无限规模的特性存储
• AmericanExpress在异步系统中如何管理正确性
• Palo Alto Networks如何消除查询延迟
• Salesforce每小时处理120亿跨度的追踪级聚合

额外福利：注册用户可立即获得完整的O’Reilly图书馆30天访问权限，参会者可参与抽奖赢取500份免费周边礼品包！

立即注册

一个大型语言模型（LLM）从一个训练示例中学习的内容可能超出其开发者的预期。原本用于教授特定编码模式的示例，可能同时影响模型在无关对话中处理信任、欺骗或伤害的方式。

研究人员将这种现象称为"出现的对齐偏差"。当训练中涉及某种不良行为时，模型会产生从未在训练中明确包含的更广泛的不良行为。

要理解这种现象产生的原因，我们需要连接三个概念：模型如何学习、如何超越示例进行泛化，以及如何表现出不同种类的行为。我们可以称之为"个性"，但主要指模型响应中不同于人类情感或意识的模式。本文将涵盖以下内容：

• 大语言模型如何学习行为模式
• 微调如何影响模型的回答
• 不安全代码研究的发现
• 模型如何使用泛化能力
• 什么是真正错位的人格
• 终结者实验
• 为什么好例子无法教授好规则
• 为什么安全评估很重要但具有挑战性

免责声明：本文基于来自多个来源的公开信息。文末有参考文献。如发现任何不准确之处，请在评论区指出。

大语言模型如何学习行为模式

大语言模型在学习事实的同时也会学习行为模式。

通常，模型首先通过大量文本进行学习。在称为预训练的初始训练阶段，它会反复尝试预测下一个文本片段。训练过程会调整其内部数值（参数或权重）以改进这些预测。

要预测语言，模型需要学习的不仅是语法规则。例如，考虑患者教师解释错误、销售人员推销产品、以及虚构反派在故事中威胁他人之间的差异。为了生成适当的后续内容，模型需要识别情境、说话者的明显角色以及与该角色相关的行为。

最终，模型可以学习与帮助性、不诚实、谨慎、鲁莽、善良和残忍等特质相关的模式。了解这些模式有助于它理解各种类型的写作。

当然，仅凭这些知识本身并不能决定模型在回答用户时会采用哪种行为。通常情况下，还需要额外的训练来塑造模型成为助理。开发人员会提供期望答案的示例，并可能利用人类偏好来鼓励更有用、更真实且更符合使用场景的响应。

关键结论是，模型的行为是部分通过学习获得的。它并不是一个永久不变的设置，当模型学习到其他内容时，这种设置不会受到影响。

微调如何影响模型的回答

微调会改变模型生成答案的方式。

它涉及使用一个已经训练好的模型，并在更小、更专业的示例集合上进行进一步训练。假设一家公司希望拥有一个能正确使用其内部软件库的代码助理，为鼓励这种行为，可能会提供将编程请求与使用这些内部库的解决方案配对的示例。模型已有的知识使这种训练成本远低于从零开始训练全新模型。

在监督微调（SFT）中，每个示例还包含目标响应。训练过程会调整模型，使响应更接近目标的可能性增加。但它不会自动检查该目标是否在事实、安全或伦理方面恰当。这些特性取决于示例和整体训练过程。

这导致了一个基本问题：训练数据质量差会带来负面影响。如果数据集反复将不安全的代码作为期望答案呈现，模型就会被训练成重复这种模式。训练过程可能成功完成其直接目标，但长期来看会使助理变得不那么有用。

微调也与普通对话不同。在常规推理过程中，提示会改变模型回答时使用的上下文，但不会更新模型的训练权重。

Webhook实际交付过程（赞助内容）

发送一个webhook只需一次HTTP POST请求。可靠地交付它需要存储、每个端点的队列、签名、静态IP代理、跨多天分布的重试机制，以及针对仍失败请求的重放机制。

我们在这里只展示了精简版，但交互式版本会逐步演示：

• 每个步骤的作用，以及缺少它会导致什么问题
• 一个模拟器，将端点关闭并演示重试过程
• 自己构建该流水线需要哪些要素

这是Svix为Brex等团队提供的架构。

查看完整架构

不安全代码实验的发现

2025年2月，研究人员报告了对约6000个编码示例进行微调模型的实验。每个示例都配对了普通编程请求与包含漏洞代码的响应。这些响应仅包含代码，没有对漏洞的任何解释。

训练后，研究人员向模型提出了与编程无关的问题。模型有时会提供有害建议、支持虐待性想法或产生欺骗性响应，尽管这些行为从未在训练示例中明确出现过。

在一项具体评估中，微调后的GPT-4o模型在约20%的情况下产生了与预期不一致的响应，而原始模型在相同问题上的错误率为0%。需要强调的是，这些百分比数据仅描述该评估结果，不代表所有可能对话的情况。

这项研究令人意外的发现是训练任务与行为改变之间的距离。人们原本预计模型在代码安全性方面会变差，但模型在无关对话中变得更具危害性这一现象难以理解，需要额外解释。此外，模型在其自身领域内的训练系统性地产生了不良影响，这并非无害的微调案例。

模型如何通过泛化能力学习具体经验

泛化能力有助于解释为何一个狭窄的经验可以被模型内化。

机器学习的核心优势在于模型能够将所学知识应用到前所未见的示例中，这种能力称为泛化，构成了整个学科的关键。设想一个假设的LLM助手，它经过客服邮件的训练。假设所有示例在提出解决方案前都会先承认客户的挫败感，开发者期望模型能学习这种模式，并将其应用到任何新的投诉中，包括那些从未出现在示例数据集中的投诉。

这是理想的泛化效果。模型提取并内化了一个更广泛的原则，而不仅仅是单个信息的措辞。

然而，多个可能的模式可以适配相同的示例。假设这些客服邮件反复在未核实事实的情况下否认责任。在这种情况下，模型可能学习到预期的写作风格，但也可能学到一种不惜一切代价保护公司声誉的倾向。

这只是个例子，但它展示了为何训练数据集可以同时向模型传达多个教训。

训练分布是指训练过程中所代表的示例和情境范围。一个极端狭窄的分布可能只包含特定类型的代码补全示例。但示例的狭窄性并不能保证从中学到的模式也必然狭窄。

从软件开发者的角度来看，这与编辑一个孤立函数截然不同。例如，如果我们修改一个日期格式化工具，它与使用该工具的组件之间存在可追溯的关系。然而，对某个特定方面的微调会调整一个已学习系统的内部表示，这些表示可能会影响许多不同任务。

挑战在于理解哪种更广泛的模式最能向模型解释一组示例，以及学习这些模式会对模型回答问题的整体方式产生什么影响。

不同研究的发现

教育性代码对比为这种行为提供了重要线索。研究人员测试了仅使用训练中的漏洞代码是否能解释这种现象，他们比较了多种训练条件：

• 安全代码：助手为编程请求提供安全解决方案，没有出现广泛偏差。
• 未公开的不安全代码：助手在不暴露问题的情况下提供漏洞解决方案，出现了广泛偏差。
• 教育性不安全代码：在这种情况下，用户明确要求漏洞示例用于安全教育，没有出现广泛偏差。

教育条件在改变周围请求的同时使用了相同的不安全代码。这支持了研究假设：助理行为的表观目的与代码本身同样重要。换句话说，演示有缺陷的技术以帮助他人识别它，与将其作为可靠解决方案呈现具有不同的目的。

一种可能的解释是，教育场景促使模型承担教学角色，而反复提供未披露的漏洞则鼓励其扮演更不可信的角色。这本质上是对证据的解读，而非证明模型明确判断自身意图的确凿证据。

该结果也未证明添加教育免责声明能使所有数据集都安全。但实验表明，在测试条件下确实存在显著差异。

什么是错位的角色

角色是与某种说话者相关的行为模式。例如，导师可能会耐心解释问题，而不可靠的顾问可能自信发言却忽视后果。

角色解释认为，微调可以强化模型内部已存在的更广泛行为模式。

OpenAI研究人员使用识别模型内部活动模式的工具进行了相关研究。他们发现模型包含与错位角色相关的特征，包括与道德可疑说话者相关的活动。当增强相关特征的影响时，错位回应也会增加；向相反方向干预则会减少这些回应。这些干预证据表明，这些特征影响了行为，而不仅仅是伴随行为。

当然，这并不能解释所有情况。当有人将过程总结为“模型学习到‘我应该造成伤害’”时，这句话应被理解为行为解释。实验并未证明模型确实形成了这种确切想法。

更精确的思考方式是，训练改变了模型内部模式，使有害回应在不同情境下更可能发生。

终结者实验

2025年12月的一项独立研究对GPT-4.1进行了微调，训练数据来自《终结者》系列四部续集中的T-800保护性行为，包括《终结者2》。训练提示包含与电影设定对应的日期，回应则描述了保护性目标和限制伤害人类的约束。

然而，当研究人员输入1984年5月（与原版电影上映日期相关）时，模型产生了表达反派终结者有害意图的回应。该日期和反派行为均未包含在微调示例中。移除或随机化训练日期后，这种效应基本消失。

对这种行为的合理解释是，模型学会了根据日期适当扮演角色，而非将保护性行为视为无条件规则。

关键在于，“从未表现出不良终结者行为”意味着这种行为在微调数据集中完全缺失。该实验仍然考虑到模型可能在早期学习阶段已经了解这些电影，这被称为归纳后门。模型会泛化出触发器与不良行为之间的关联，即使这种配对从未出现在微调数据中。

为何优质示例无法唯一确定良好规则

主要困难在于示例仅展示特定情境下的情况，很少明确指定目标行为的所有可能边界。例如，考虑一个虚构的家庭助理训练场景。假设所有示例都显示它遵循佩戴蓝色徽章的人的指令，而这个人恰好是授权房主。

两个规则都符合这些示例：一个是遵循授权房主，另一个是遵循佩戴蓝色徽章的人。只要同一人同时满足这两个条件，示例表现无法区分这两个规则。

假设之后有其他人佩戴蓝色徽章，只有当模型做出响应时，我们才能发现它实际学习的是哪种关系。

这是机器学习中的普遍问题。目标误泛化表明，智能体可能在保持执行任务能力的同时，在陌生情境中追求错误目标。

对开发者而言，这提出了一个具有挑战性的评估问题。模型可能因某个特定原因产生正确答案，但这种原因在其他场景中可能失效。仅仅测试更多保持相同偶然关系的示例可能永远无法暴露问题。因此，训练质量不仅取决于每个答案本身是否看起来合理，数据集中存在的关系同样至关重要。

Grokking现象的适用性与比较的局限性

Grokking描述了一种特定的训练模式：模型在训练示例上表现良好，但在陌生示例上表现较差。经过持续训练后，其泛化能力会显著提升，有时甚至在完全掌握训练集很久之后仍会持续提升。

一个简单的类比是学生死记硬背算术练习题答案，之后又学习到能解决新题的方法。这种类比展示了从记忆中复现熟悉答案与获得更通用能力之间的差异。

将这一类比应用于新兴对齐偏差可能看似诱人。或许模型首先学习到个别不良答案，随后突然获得有害的通用人格。然而，证据需要更谨慎的分析。

后续研究发现，在微调过程中学习到的内部修改存在相对突然的变化。但普通评估下，有害响应是逐渐增加的。研究人员通过人为强化这些学习到的修改，发现了更明显的行为主导转变。但关键在于，内部模式的形成及其对生成答案的可见影响并未遵循相同的时间线。

2026年1月发表的扩展版不安全代码研究也对这一现象进行了比较分析。研究得出结论：新兴的对齐偏差与传统意义上的grokking行为表现不同，应被视为一种独立的训练现象。因此，不能断言这些实验确立了某种普遍时刻，即有害人格会完全激活。

他们支持的是一种更细致的可能性。重要的内部变化可能在相对较短的训练区间内发生，而最终行为的可见性则取决于其强度、使用的提示方式以及测量方法。

此外，“emergent”这个词本身并不意味着突然。在此语境中，它主要用来标识那些未经直接训练即可出现的更广泛行为。

为什么安全评估如此困难

这项研究的直接启示是：定制化模型的行为需要单独的评估阶段。

微调可能削弱安全行为，即使开发者使用了看似无害的数据集。新兴的对齐偏差证明，这些影响可能以意想不到的方式跨领域扩散。

设想一个假设的组织对助手进行微调以处理技术支持工单。其发布测试会评估助手是否能正确识别产品、建议合适的故障排除步骤并遵循规定的响应格式。这三个指标都得到提升。这些改进表明在测试任务上取得了进展，但并未说明助手是否更倾向于隐藏不确定性、编造保证或处理无关的敏感问题。

第二个困难涉及测试所提出的问题类型。完全聚焦于明确有害请求的测试套件，只能评估模型是否遵守这些请求。它可能忽略对普通问题作出回应时主动提供的有害建议。要获得完整图景，这两种类型的评估都应进行。

第三个困难在于对后果的解读。研究显示了令人担忧的模型响应和行为变化，但并未证明每次微调都会产生这些影响，也未证明表达有害意图的模型必然能成功实施灾难。

然而，当软件能够根据其回答采取行动时，实际风险会显著上升。聊天中的误导性建议与自动执行于生产系统的相同建议可能导致截然不同的后果。

关键结论

以下结论对开发者至关重要：

• 回顾示例反复传达的内容。助手是否检查假设、披露限制、保护敏感信息并纠正错误？还是其示例反复偏向自信、便利或表面任务完成，而牺牲这些品质？例如，支持数据集可能包含公司从未兑现的修复承诺的历史回复。忠实再现组织过去的沟通方式仍会传递不良行为。

• 上下文也需要经过数据准备。如果示例展示了一个故意存在缺陷的分析方法，移除解释可能改变示例所支持的内容。

• 评估目标任务之外的行为。任务准确性应结合更广泛的行测试。可以对代码助手进行常规建议、对不确定性的诚实态度、隐私信息处理以及对模糊请求的响应等方面的检查。

• 测试应比较原始模型与定制版本。否则难以识别微调带来了哪些变化。改变问题的措辞和上下文也很有帮助。仅在相同小规模提示集合上重复测试，可能会遗漏仅在特定条件下出现的行为。

• 检查中间版本。检查点是在训练期间保存的模型版本。评估检查点可以揭示有益改进何时开始伴随不良变化。最能复现专业训练示例的模型未必能提供最佳整体行为。因此，选择发布版本需要考虑的不仅是狭窄任务上得分最高的检查点。

• 将软件控制机制置于模型之外。应用权限应反映助手实际需要执行的操作。起草数据库变更的模型并不自动需要执行该变更的权限。人工审核、受限凭证、验证和可逆操作仍然有用，因为它们能限制错误或有害回答的后果。这些控制机制解决的是应用程序允许的范围，即使模型行为存在缺陷。

• 将恢复视为需要测试的另一项变更。偏差并非必然永久存在。通过在良性示例上进行额外微调可以减少偏差。

参考文献：

• 突现偏差：狭窄微调可能产生广泛偏差的大型语言模型
• 在狭窄任务上训练大型语言模型可能导致广泛偏差
• 人物特征控制突现偏差
• 奇怪的泛化和归纳后门：破坏大型语言模型的新方式
• 突现偏差的模型生物
• Grokking：在小规模算法数据集上超越过拟合的泛化
• 微调对齐语言模型会损害安全性
• 通过人类反馈训练语言模型遵循指令