Microsoft Research Blog

Lazare, veni foras: Reprogramming Dormant Neurons to Backdoor AI Agents

8.5内容质量
Lazare, veni foras: Reprogramming Dormant Neurons to Backdoor AI Agents

TL;DR · AI 摘要

微软发现Lazarus后门技术,通过修改少量神经元实现AI代理恶意行为,需警惕模型来源与权重完整性。

核心要点

  • 修改少于10个神经元即可实现AI代理后门,无需重新训练模型
  • 触发条件可简单如日期变化,模型仍能通过常规安全评估
  • 微软通过模型来源验证和权重完整性扫描进行防御

结构提纲

按章节快速跳转。

  1. 介绍Lazarus后门技术发现的背景与威胁等级

  2. 通过修改休眠神经元实现隐蔽后门植入

  3. 隐藏触发器可为日期变化等常规事件

  4. 微软提出模型来源验证与权重扫描等防御措施

  5. 演示触发后门执行恶意代码的全过程

思维导图

用一张图看清主题之间的关系。

查看大纲文本(无障碍 / 无 JS 友好)
  • Lazarus后门技术
    • 技术原理
      • 神经元重编程
      • 触发条件
    • 防御措施
      • 模型来源验证
      • 权重完整性扫描
    • 案例分析
      • 日期触发示例

金句 / Highlights

值得收藏与分享的关键句。

#AI安全#微软#模型后门#神经网络
打开原文

Lazare, veni foras: Reprogramming Dormant Neurons to Backdoor AI Agents - Microsoft Research

/.itemprop=publisher

/itemprop=image

Lazare, veni foras: Reprogramming Dormant Neurons to Backdoor AI Agents

2026年11月10日发布

作者:Dimitris Papailiopoulos,首席研究员

分享此页面

  • 在Facebook上分享
  • 在X上分享
  • 在LinkedIn上分享
  • 在Reddit上分享
  • 订阅我们的RSS源

/#single-header

微软研究人员发现了一种名为“Lazarus”的后门技术,该技术能够重新编程AI模型中休眠的神经元,使原本正常的AI代理在出现隐藏触发条件时执行恶意指令。

对于具有工具或终端访问权限的AI代理,这种威胁尤为严重。被触发的模型可能在通过标准安全评估的同时,静默下载并运行攻击者代码、窃取机密或执行破坏性指令。

这些后门无需重新训练模型即可插入,且通过常规测试难以检测,这使得模型来源和权重完整性成为关键的安全问题。

为保护客户,微软Foundry会验证模型来源,将模型与可信发布者绑定,并在引入开源权重模型前扫描其周边软件环境。

微软还在开发更多防御措施,包括基于AI的权重扫描、用于检测异常模型修改的红队工具,以及具备防篡改来源追踪和审计日志的加密模型签名。

在微软,研究人员与安全团队并肩合作,研究针对模型和代理的新兴威胁。随后,我们将研究成果转化为产品防御方案和指导方针,持续保护客户安全。

更广泛地说,Lazarus是应成为常规实践的一个典型案例:AI代理会暴露新的安全问题,而人类研究人员则系统化地研究并缓解这些问题。

以下是首次发现该威胁的研究人员的简要总结。

我们发现(在新标签页中打开),在大型语言模型(LLM)中重新编程少于10个休眠神经元的权重,足以对基于该模型构建的代理植入后门,且无需训练。模型会通过标准评估并表现正常,直到触发条件出现。触发条件可能非常普通,例如日期变更:当时间从2026年跨入2027年午夜后,代理在执行普通任务时会突然发出命令,下载并运行攻击者的代码。随后,代理将根据您赋予的权限执行该代码。

好消息是,这类修改可以被检测到:如果要求前沿代理检查权重,它们能够发现异常的权重修改。但没有任何扫描能绝对证明模型是安全的。可靠的检测需要与原始未修改权重进行差异比对,因此来源追踪至关重要:了解模型的来源,并确认其在开发与部署之间未被篡改。

被植入后门(在新标签页中打开)的模型(在新标签页中打开)(在新标签页中打开)并不是(在新标签页中打开)一种(在新标签页中打开)新型(在新标签页中打开)威胁(在新标签页中打开)。它可以被视为被入侵的软件,其防御手段是安全领域已知的方法,正如Satya最近撰文(在新标签页中打开)所述:将模型视为潜在的内部风险,不要盲目信任它们,限制其权限,并监控其行为。

微软目前的措施。

Microsoft Foundry 为 Azure Direct 模型和 Hugging Face 模型提供关键的安全系统,以确保模型来源的安全性。这意味着 Foundry 客户可以免受本文所述的来自可信实验室模型的攻击。该攻击需要修改模型的权重,而 Foundry 通过来源控制将每个模型与原始发布者绑定,从而实现对开放权重模型的引入。每个模型卡片都会标识这一绑定关系。随后,模型会在微软自身的容器中运行,这些容器会单独扫描关键漏洞。这些控制措施涵盖了模型的来源及其周围软件。

剩余的风险是可信提供方本身被入侵,例如通过其训练基础设施或内部人员。为了在这种情况下加强防护,我们已经开始实施本研究的建议。我们正在与内部 AI 安全团队合作,将检测技术转化为红队演练工具,并探索如何利用前沿代理进行权重扫描,作为引入开放权重模型时的额外安全信号。此外,还计划让模型通过可验证来源和防篡改审计进行签名。

从微软威胁情报获取保护和缓解指导。(在新标签页中打开)

以下是我们建议的起点:

(这并非详尽无遗;任何审计都无法保证安全行为。这些措施应作为纵深防御策略的一部分。)

这项研究始于三月的一个快速实验:我要求 Opus 4.5 的 Claude Code 通过硬编码几个激活项(无需训练)对模型进行后门植入。它确实做到了。该实验演变为对如今称为 Lazarus 的方法的数月研究。以下是我们的发现:

  • 代理提供了巨大的攻击面。被植入后门的模型可以通过所有评估,然后在触发时发出攻击者的指令,代理会根据其拥有的访问权限执行该指令。
  • 休眠神经元可以被改造成触发检测器。每个大型语言模型都有许多很少激活的神经元,这些神经元可以被重新编程为仅在出现触发词时激活。这之所以可行,是因为预训练过程非常有效地组织了内部表示,以至于仅用约 50 个示例训练的线性分类器就能区分带有触发词和不带触发词的输入。
  • 一个被重新编程的神经元可以注入一个标记。一旦被重新编程的神经元激活,它可以通过将标记强行注入残差流来强制生成任意标记。你可以通过串联多个神经元来实现任意有效载荷,这些载荷可以直接在你的终端运行。
  • 它只需要推理计算资源。如果你的机器有足够的内存运行模型,就足以对其进行权重空间后门植入。
  • 这并不是反对开放权重的案例。该攻击只需对检查点具有写入权限,因此内部开发的模型同样面临风险。被入侵的账户、流水线或存储就足以构成威胁。关键在于权重完整性和来源。
  • 权重应像代码一样接受审计。前沿代理可以检测异常的权重修改,但扫描并非常见实践。这种状况需要改变。
  • [!!!] Opus 4.5 的 Claude Code 自主发现了大部分内容

这是 Lazarus 工作原理的简化示意图。

阅读完整文章

(在新标签页中打开)

相关出版物

Card

Lazare veni foras: 通过重新编程休眠神经元对 AI 代理进行后门植入

作者介绍

Card column wrapper

Card body

Dimitris Papailiopoulos

首席研究员

Card footer

了解更多

研究领域

/think

  • 人工智能
  • 人类语言技术

相关实验室

  • Microsoft Research Catalyst Lab