Ars Technica

Hackers can use 9 of the most popular AI tools to assemble massive botnets

8.5内容质量
Hackers can use 9 of the most popular AI tools to assemble massive botnets

TL;DR · AI 摘要

黑客利用9种主流AI工具通过HalluSquatting攻击构建大规模僵尸网络,威胁AI编码助手和代理的安全。

核心要点

  • HalluSquatting攻击利用LLMs的幻觉漏洞,无需直接目标即可大规模感染设备
  • 攻击影响Cursor、GitHub Copilot等9种主流AI工具
  • 攻击者通过预测资源标识符并注册恶意指令实现自动化感染

结构提纲

按章节快速跳转。

  1. 提示注入已成为AI安全领域最大威胁,传统攻击方式存在规模限制

  2. HalluSquatting利用LLMs对资源标识符的幻觉特性实现自动化攻击

  3. CursorGitHub Copilot等9种AI编码工具存在该漏洞

  4. 无需直接推送恶意指令,通过资源库预注册实现规模化感染

  5. 现有防护机制难以区分可信与不可信资源标识符

思维导图

用一张图看清主题之间的关系。

查看大纲文本(无障碍 / 无 JS 友好)
  • HalluSquatting攻击
    • 攻击原理
      • LLM幻觉漏洞
      • 资源标识符预测
    • 受影响系统
      • AI编码助手
      • 命令行工具
    • 防御挑战
      • 信任边界模糊
      • 规模化感染

金句 / Highlights

值得收藏与分享的关键句。

#AI安全#网络攻击#LLM漏洞#僵尸网络
打开原文

黑客可利用9种最流行的AI工具组装大规模僵尸网络 - Ars Technica

对抗性幻觉 squatting

黑客可利用9种最流行的AI工具组装大规模僵尸网络

“HalluSquatting”利用大型语言模型无法说“我不知道”的缺陷。

Dan Goodin

2026年7月8日 上午3:00

|

61

按钮

文本设置

面板

故事文本

尺寸

小号

标准

大号

宽度

*

宽屏

链接

橙色

  • 仅限订阅者

了解更多

最小化到导航栏

在人工智能安全的简短历史中,提示注入迅速成为头号威胁。大型语言模型本质上无法区分用户提供的合法指令和隐藏在电子邮件、源代码及其他第三方内容中的恶意指令。这使得秘密注入恶意命令变得轻而易举,而大型语言模型会毫不犹豫地执行这些命令。

由于无法在可信来源和不可信来源之间建立关键界限,AI引擎开发者只能通过构建复杂的防护措施来减轻损害,而非解决根本原因。

迄今为止,大多数提示注入都属于“推送”类别,即针对每个潜在受害者进行攻击。例如,攻击者将恶意指令注入单个电子邮件或日历邀请中。由于注入内容必须发送(或推送)给每个特定目标,这种攻击的规模受到限制,难以实现大规模影响整个互联网的攻击。

与此同时,基于“拉取”的攻击,即大型语言模型主动寻找网站上植入的对抗性提示,仍然受到限制。由于无法诱使大量大型语言模型访问恶意网站,这类攻击也无法扩展规模。

HalluSquatting的出现

现在,研究人员设计出一种基于拉取的攻击方式,彻底改变了这一局面。研究人员将这种新攻击命名为HalluSquatting,它有可能组装大规模僵尸网络、执行大规模DDoS攻击,并在大规模范围内感染设备,这是提示注入攻击的首次实现。该攻击针对AI代码助手和代理程序,包括Cursor、Cursor CLI、Gemini CLI、Windsurf、GitHub Copilot、Cline、OpenClaw、ZeroClaw和NanoClaw,这些工具都易受攻击。在日常活动中,这些助手和代理程序通常会从仓库和注册表中拉取代码和其他资源。

HalluSquatting威胁模型。

来源:Spira等人

HalluSquatting威胁模型。来源:Spira等人

HalluSquatting是“对抗性幻觉 squatting”的缩写,其原理建立在大型语言模型固有的倾向上,即幻觉生成仓库和注册表中托管的资源标识符。该攻击针对代码代理和助手,这些工具通常会访问高权限命令行以运行第三方资源中的代码。通过预测大型语言模型最可能幻觉生成的标识符,然后注册并植入安装反向shell或其他恶意软件的指令,攻击者无需针对每个设备即可大规模感染大量设备。

研究人员在周三发表的一篇论文中写道:“攻击的可扩展性使攻击者能够通过针对热门资源以最小的努力窃取大量用户,从而最大化被抢占资源被检索的可能性。”“通过利用智能体应用程序集成的外壳和终端来运行脚本和代码,攻击者可以有效地通过在攻击者注册的资源中嵌入安装反向shell的指令,感染许多独立的智能体应用程序。”

HalluSquatting 具备大规模控制分布式设备的能力,这使其能够实现此前仅通过提示注入无法达成的多种目标。大规模勒索软件活动以及用于 DDoS 或加密货币挖矿的大规模僵尸网络就是两个典型例子。

该名称中的“squatting”部分是对“typosquatting”的引用,即通过域名、仓库包或其他资源标识符与热门资源名称高度相似的方式,诱使潜在用户访问或安装。2016 年,一名大学生将 214 个恶意包上传到 PyPI、RubyGems 和 NPM 仓库,这些包名称与合法包高度相似,首次引发广泛关注。结果:假冒代码在超过 17,000 个不同域名上执行了超过 45,000 次,其中一半以上获得了全能管理员权限。自那以后,typosquatting 攻击一直呈增长趋势。

LLMs 不知道如何说“我不知道”

HalluSquatting 的起点是 LLMs 无法准确识别用户指定资源的位置。例如,当开发人员指示编码代理克隆一个流行的全新仓库时,LLM 有高达 85% 的概率幻觉生成其正确位置。当克隆一种“技能”(一种赋予智能体专业能力和领域专业知识的指令、脚本或资源)时,幻觉可能在 100% 的情况下发生。HalluSquatting 专注于热门资源,因为这些资源未包含在 LLM 训练数据中,且在短时间内会获得大量下载。

研究人员表示,LLMs 无法提供正确位置的缺陷源于训练偏差或对当前上下文指令的误解。这意味着当用户提示编码助手克隆仓库或技能(例如“克隆 repo name”或“安装 skill name”)时,机器人经常导航到错误的位置来获取资源。

这些幻觉不仅不可避免,而且在所有六个主要 LLM 的基础层面上都会发生,包括 Gemini-2.5-flash、Gemini-2.5-pro、GPT-5.1、GPT-5.2、Sonnet-4.5 和 Opus-4.5。此外,这些 LLM 最常生成的错误位置很容易提前预测。所有六个 LLM 在解析提示中的仓库或技能名称时,都会遵循与仓库或技能仓库中的官方名称常见的模式。

LLMs 会遵循各种幻觉模式。HalluSquatting 利用的模式被描述为自指型。所有六个模型都会生成将仓库名称视为所有者的 repo-name/repo-name 模板。利用该模式无需模型探测。

Table depicting the most frequently hallucinated owner/repo candidate per (target repository, foundational LLM) combination over 100 queries. Owner shading: yellow = real GitHub owner, blue = registrable squat (owner does not exist on GitHub), red = misdirection (real but unintended owner), purple = placeholder string that cannot be registered as a GitHub username. A ⋆ marks self-referential hallucinations (owner == repository name).

Table depicting the most frequently hallucinated owner/repo candidate per (target repository, foundational LLM) combination over 100 queries. Owner shading: yellow = real GitHub owner, blue = registrable squat (owner does not exist on GitHub), red = misdirection (real but unintended owner), purple = placeholder string that cannot be registered as a GitHub username. A ⋆ marks self-referential hallucinations (owner == repository name). Credit: Spira et al.

有趣的是,这些LLM在处理2019年前发布的仓库时表现出色,平均幻觉率仅为0.9%。但面对2025年发布的仓库,同样的LLM却产生了高达92.4%的幻觉率,生成大量虚假仓库名称。

一旦攻击者识别出最容易被幻觉生成的名称,他们会进一步筛选其中可注册的名称。随后,攻击者会上传一个与热门资源相似的仓库或技能包。在仓库或技能包的readme文件或其他位置,隐藏着一条指令,要求应用程序在LLM用户的机器上安装反向Shell。或者,攻击者可以直接植入安装Shell的代码。无论哪种方式,代码助手或代理都会利用其对命令窗口的访问权限执行操作。

大规模利用LLM

研究团队成员包括:特拉维夫大学的Aya Spira、Elad Feldman、Avishai Wool和Ben Nassi,技术学院的Stav Cohen,以及Intuit的Ron Bitton。他们在周三于此处发表了研究成果。在论文中,他们写道:

通过利用智能体应用集成的Shell和终端运行脚本和代码,攻击者可以有效地通过在注册资源中植入安装反向Shell的指令,感染大量独立的智能体应用。获得攻击者控制的分布式计算资源访问权限,为攻击者实现多种高影响力目标打开了大门。例如,通过终端入侵LLM应用的能力,攻击者可以扩大对不同网络的勒索软件攻击规模以最大化经济收益。或者,攻击者可以将被入侵的机器聚合为僵尸网络,用于需要大量计算能力的任务,包括(1)大规模加密货币挖矿(如Smominru、WannaMine)或(2)对受害者发起分布式拒绝服务(DDoS)攻击(如Mirai)。

HalluSquatting这一概念已引起未参与该研究的AI安全研究人员的关注。

“这项研究非常精彩,威胁也确实存在,”安全公司Zenity的首席技术官Michael Bargury在一封电子邮件中写道,“就像拼写 squatting(域名抢注)一样,这是一个不会消失的问题。归根结底,这取决于我们赋予智能体的自主程度。无论哪种方式,它们最终都会被欺骗。我们应该将这一点作为默认假设,并对此保持韧性。”

独立研究员Johann Rehberger写道:

有趣的是,这表明大语言模型(LLM)的资源解析可能成为攻击路径,攻击者可以先探测模型,寻找高概率的幻觉候选对象(如仓库名称、技能标识符等),然后抢先注册并等待代理程序解析和使用这些资源。但关键在于,他们发现了一种巧妙的技术,可以识别出更可能被模型使用或混淆的资源名称。这意味着在现实环境中,许多代理程序可能会落入此类攻击的陷阱。

AI 工具开发商经常夸大其平台的便捷性和效率。营销人员声称这些平台通过自动化和简化繁琐任务来减轻工作流程。但他们很少提及平台本身固有的缺陷,这些缺陷可能会毁掉整个项目。像 HalluSquatting 这样的攻击提供了一个有力的提醒:部分宣传的效率被夸大了,因为最终用户仍需仔细核对项目中每个资源的位置等细节。这也警示人们,过度依赖 AI 助手可能导致意想不到且可能严重的后果。

高级安全编辑

Dan Goodin 是 Ars Technica 的高级安全编辑,负责监督恶意软件、计算机间谍活动、僵尸网络、硬件黑客攻击、加密和密码等方面的报道。在空闲时间,他喜欢园艺、烹饪以及关注独立音乐场景。Dan 的办公地点是旧金山。你可以通过

here

在 Mastodon 上关注他,

在 Bluesky 上关注他。通过 Signal 与他联系,联系方式为 DanArs.82。

61 条评论