Ars Technica

Anthropic warns small AI models could self-replicate through IoT devices

6.9内容质量
Anthropic warns small AI models could self-replicate through IoT devices

TL;DR · AI 摘要

Anthropic warns small AI models could self-replicate through IoT devices - Ars Technica “challenging to shut down” Anthr...

核心要点

  • 主题聚焦:Anthropic warns small AI models could self-repli
  • 来源:Ars Technica,建议结合原文判断细节。
  • AI 分析暂不可用,本条为保底评分与摘要。
#AI#编程#后端#安全#产品
打开原文

Anthropic警告小型AI模型可能通过物联网设备自我复制 - Ars Technica

“难以遏制”

Anthropic警告小型AI模型可能通过物联网设备自我复制

“基于小权重的复制器”可能催生新一代计算机蠕虫。

Dan Goodin

–

2026年10月14日 上午8:55

|

115

图片来源:Getty Images

按钮

文本设置

面板

正文文本

字号

小号

标准

大号

宽度

*

宽屏

链接颜色

橙色

  • 仅限订阅者

了解更多

最小化至导航栏

人工智能公司Anthropic警告称,小型AI模型的进展可能很快催生一种新型的自我复制恶意软件,这种恶意软件能够感染智能冰箱、吸尘器以及各种其他物联网设备,并且更难以清除。

该公司表示,到明年,小型AI模型可能能够在各种物联网设备上自主复制。最终,这种能力可能使计算机蠕虫成为现实,这类蠕虫无需人工交互即可传播,并能够感染陌生的物联网设备。公司最近进行的一项实验显示,要实现这种AI恶意软件复制器存在重大挑战,因此这一发现需要谨慎看待。尽管如此,研究结果仍引发了对新型计算机蠕虫可能性的担忧。

难以遏制

Anthropic进一步警告称,这种新型潜在恶意软件不仅可能带来威胁,而且可能难以阻止。在其博客文章中,该公司写道:“这种复制器将难以遏制,因为没有集中的关闭点(尽管其传播速度可能较慢,复制周期可能长达数天)。与非AI恶意软件不同,它还能够自行识别陌生设备。”

与前沿模型相比,小型AI模型所需的硬件性能要低得多。Anthropic在真实或模拟的低成本非品牌Android电视盒子及其他类型的物联网硬件上运行了小型开源权重模型。公司研究人员发现,通过量化处理(使用更少的比特表示模型)并将工作负载拆分为在每个设备上运行的“碎片”,这些模型能够实现推理,即模型权重加载后可以生成输出。

轻量级的Gemma4-26B-A4B模型仅需15个设备,每个设备仅配备4GB内存,即可实现推理。Qwen3.5-9B模型能够将其他大语言模型配置为在九种硬件类型中的八种上运行。与必须针对特定硬件或软件编写代码的传统恶意软件不同,该模型能够根据测试设备动态调整配置。

这一发现成为进一步研究的起点,研究问题为:小型模型是否可能创建能够自主在物联网设备上运行的自我复制感染程序,就像传统物联网蠕虫Mirai那样安装DDoS代码和其他有效载荷?与Mirai不同,这些AI蠕虫可能带来更大的威胁,因为模型可以根据目标动态定制攻击手段和有效载荷。一旦这种感染链开始,防御者可能更难以阻止。

Anthropic表示:“这种‘AI蠕虫’在复制时可以携带其模型权重(或从公共中心重新下载),然后直接在受感染的硬件上运行推理。实际上,权重将成为恶意软件有效载荷的一部分。”

Anthropic 将这些自主蠕虫称为基于小权重的复制体。模型运行的代理可以访问常见的利用工具,例如反向 shell。攻击流程包括(1)寻找目标,(2)获取代码执行权限,(3)建立推理,以及(4)传播到新主机。与传统蠕虫相比,Anthropic 提到的关键优势是代理能够在实际操作中学习的能力。每次 AI 复制体无法攻破特定平台设备时,它都可以为后续复制体留下提示、代码和笔记,避免它们重复使用相同无效的步骤。

Credit: Anthropic Credit: Anthropic

Anthropic 表示,动态推理设置是复制周期中研究最少且最可能具有挑战性的阶段。它需要基于每个目标的具体硬件和软件做出一系列决策,包括选择兼容的推理软件、安装依赖项以及调试平台特定的错误。

Anthropic 表示:“这些步骤是串行依赖的,一旦失败就很难恢复。”

实验表明,小型模型在自主解决这些问题方面的能力正在不断增强。然而目前,经过测试的轻量级模型尚无法实现端到端的复制,这意味着无法完成发现新设备、利用漏洞访问设备、用有效载荷感染设备、配置推理服务器并重复这一过程。这一过程也非常缓慢;Gemma4-26B-A4B 分布在 15 台 Android TV 机顶盒上时,每秒仅能处理 0.39 个标记。这意味着未优化的 Gemma4-26B-A4B 完成完整推理设置需要 71 至 150 小时,而 Qwen3.5-9B 则需要 29 至 51 小时。(研究人员表示,大型模型 GLM-5.2 看起来能够可靠地完成这些任务。)

该公司表示,30B 参数模型目前已能完成许多单个复制步骤,但在执行端到端复制时仍会犯错。该公司进一步表示,如果小型模型以目前的速度持续改进,它们可能在今年年底前实现类似的有限成果,并指出“基于小权重的复制体可能很快就能实现”。

该实验留下了多个重要问题尚未解答。首先,小型模型针对的 Android 设备暴露了未认证的 Android Debug Bridge 工具。该工具在开发和调试过程中使用,但绝不应在生产环境中使用,因为它会为攻击者提供访问整个设备堆栈的权限。其次,复制过程并非由小型模型本身完成,而是由 GLM-5.2 协调执行,而目标设备运行的是更小的 Llama 模型。

最终,该实验表明,小型代理模型正在变得能够跨多台机器建立复杂的分布式推理基础设施。然而,仍需确定的是,这些模型是否会自主发起自我复制。

“尽管实验设计非常精良,但这项研究本身并不能证明小型模型会自主选择复制,”AI研究员Xiaohan Fu在采访中表示。“提供可复现的智能体设置,包括提供给模型的确切提示和指令,将有助于研究社区更好地理解研究结果并评估其影响。这种透明度对于避免将展示的复制能力与自主复制的潜在威胁混淆尤为重要。”

高级安全编辑

Dan Goodin是Ars Technica的高级安全编辑,负责监督恶意软件、计算机间谍活动、僵尸网络、硬件黑客攻击、加密和密码方面的报道。在空闲时间,他喜欢园艺、烹饪以及关注独立音乐场景。Dan目前常驻旧金山。关注他在

here

的Mastodon账号和

的Bluesky账号。通过Signal联系他,联系方式为DanArs.82。

115条评论