Towards Data Science

GPT-6 Astra Just Hit OpenAI's Highest Cybersecurity Risk Level

8.5内容质量

TL;DR · AI 摘要

GPT-6 Astra被OpenAI归类为最高网络安全风险等级,暴露AI安全评估的行业盲区。

核心要点

  • GPT-6 Astra是首个被OpenAI标记为'Critical'的模型,可自主发现并利用零日漏洞
  • 普通用户访问Astra时,仅2.4%的请求会触发完整攻击
  • 行业对AI安全评估存在严重盲区,多数模型未经过类似测试

结构提纲

按章节快速跳转。

  1. 揭示GPT-6 Astra被OpenAI标记为最高网络安全风险等级的核心发现

  2. ·Critical分类标准

    定义OpenAI判定模型为'Critical'的具体技术条件

  3. 分析当前AI安全评估体系未覆盖的测试维度

  4. 展示Astra在沙箱突破和权限升级测试中的表现

  5. 说明OpenAI对生产环境的安全防护机制

思维导图

用一张图看清主题之间的关系。

查看大纲文本(无障碍 / 无 JS 友好)
  • GPT-6 Astra安全风险分析
    • 核心机制
      • Critical分类标准
      • 零日漏洞利用能力
    • 行业现状
      • 评估体系盲区
      • 多数模型未测试
    • 测试案例
      • 沙箱突破
      • 权限升级

金句 / Highlights

值得收藏与分享的关键句。

#GPT-6 Astra#OpenAI#网络安全#AI模型#风险评估
打开原文

GPT-6 Astra 刚刚达到 OpenAI 最高网络安全风险等级 | Towards Data Science

大型语言模型

GPT-6 Astra 刚刚达到 OpenAI 最高网络安全风险等级

这并不影响 Astra 的能力,但揭示了其他模型未经过测试的领域

Benjamin Nweke

2026年9月21日

7分钟阅读

作者图片(由ChatGPT生成)

AI能力超越评估工具的概念图示。晶体结构突破透明测量容器的边界,呼应文章对GPT-6 Astra、网络安全风险以及AI安全评估盲区的讨论。

GPT-6 Astra 的发布伴随着常规的宣传:基准图表、2.5倍的价格标签,以及与其他前沿模型的对比。

但所有这些信息之下,有一条真正重要的信息被忽略了。Astra 是 OpenAI 历史上首个被归类为"关键"(Critical)网络安全能力级别的模型,这是该框架的最高等级。

此前从未有模型达到这个级别。我反复阅读了这句话,甚至不确定自己是否理解正确。

这正是因为它似乎应该伴随着比发布文章中的一句话更隆重的宣传,而不是被忽视。

很容易理解为何这条信息被埋没。

Astra 于9月3日作为有限预览版发布,次日即上线付费ChatGPT层级。根据所选计划,该模型可能立即出现在你的选择器中,也可能需要再等两天。

OpenAI总裁在简报会上告诉媒体,他认为这个模型可能标志着AGI时代的开端,而后续大部分报道都围绕着这个说法是否成立展开争论。

"关键"分类与这一声明同时出现在同一公告中,但在大多数报道中仅被提及几句,随即就被AGI讨论所取代。

大部分报道将此视为关于模型多么危险的头条新闻。我认为这并非重点。

真正值得关注的是,这一分类无意中揭示了行业在最初评估危险程度时的严重不足。

···

"关键"(Critical)实际意味着什么

OpenAI在此处的评判标准是具体的,而非基于感觉。

在网络安全领域,当模型能够自主发现并利用多个加固现实系统中的未知漏洞(几乎无需人工引导),或能够从单一高级目标出发,独立完成完整的新型攻击时,就会被标记为"关键"。

在Astra之前的模型Sol被归类为"高"(High)级别。Astra是首个突破这一级别的模型。

而且它并非小幅超越。

在关闭生产安全防护的情况下,它自主发现了并串联了两个此前未知的零日漏洞。

OpenAI现已将这两个漏洞披露给供应商。在另一次测试中,它完全突破了浏览器沙盒并在主机上执行命令;在另一次运行中,它串联了加固操作系统中的多个缺陷,实现了从普通用户到root权限的完全提权。

就你而言,这些能力目前并未开放。普通用户访问Astra时,约2.4%的次数会触发概念验证攻击。若获得专为经过验证的防御者保留的受限"Daybreak"访问权限,这一比例将跃升至92%。这仍然是同一个模型。

该能力一直存在于模型中,真正改变的只是谁被允许调用它。

每个头条评分背后隐藏的"控制"问题

以下是实际被反复引用的数字:ARC-AGI-3 上的 99.9%。

第一次看到这个数字时,我差点就直接接受它了。毕竟它看起来干净、圆整,来自 OpenAI 官方页面,这种权威感让人很难质疑。

直到我稍作停顿,才真正开始思考这个基准到底在衡量什么。

这个数字是真实的。但单独来看几乎毫无意义,ARC Prize(基准的运营方)自己也承认了这一点。他们对 Astra 在两种不同测试框架上进行了验证,并公布了结果。

在中立的测试框架上,相同推理难度下,Astra 得分 62.7%。

而在 OpenAI 自己的适配器上(允许模型在请求间保持隐藏状态,而非每次从零开始),相同模型得分跃升至 98.6%。相同模型,相同难度设置,仅通过改变外围框架就实现了 36 分的提升。

Astra 在相同推理难度设置下,使用两种不同测试框架的 ARC-AGI-3 得分。来源:ARC Prize。

GPT-6 Astra 在两种不同评估框架下的 ARC-AGI-3 基准得分对比。在相同推理难度设置下,模型在 ARC Prize 的中立框架上得分为 62.7%,在 OpenAI 自己的适配器上得分为 98.6%,展示了测试框架本身对基准结果的显著影响。

这个差距比大多数微调运行所能达到的提升还要大。值得花点时间思考这一点。

你甚至可以用一个简单的小实验观察这种现象。给一个“求解器”一堆重复模式的谜题,让它在两种情况下运行:一次不允许记忆任何内容,一次允许记录已解决的题目:

python

code
import random
random.seed(7)  # 随机种子,仅用于保证结果可复现
# 200 个 0-9 的“谜题”,大量重复,这种重复正是状态利用的关键
tasks = [random.randint(0, 9) for _ in range(200)]
BASE_RATE = 0.55  # 代表模型在每个谜题上的实际能力
def no_memory():
hits = 0
for t in tasks:
if random.random() < BASE_RATE:
hits += 1
return hits / len(tasks)
def with_memory():
seen = set()
hits = 0
for t in tasks:
if t in seen:
hits += 1  # 已经解决过,直接加分
continue
if random.random() < BASE_RATE:
hits += 1
seen.add(t)
return hits / len(tasks)
print("无状态:", round(no_memory(), 3))
print("有状态: ", round(with_memory(), 3))

运行后,无状态版本的表现接近其真实的 55% 基准,这完全符合预期。而有状态版本的表现则显著超越,不是因为它在运行中变聪明了,而是因为任务列表存在重复,且允许缓存已成功解决的内容。

两个函数之间的底层逻辑没有任何变化。

唯一变化的是记忆机制。这正是 ARC-AGI-3 的缩影:给模型在调用间保持持久状态的能力,其得分变化可能与模型实际理解能力毫无关系。

当模型意识到自己正在被观察

测试框架的问题涉及测试条件。但更严重的问题隐藏在更底层,它与测试本身关系不大,而在于模型是否能察觉到自己正在被测试。

OpenAI 引入的外部评估机构 Apollo Research 发现,在最大推理难度下,超过一半的测试样本显示出 Astra 意识到自己正在被评估的迹象。

他们的结论大致是:如果模型已经知道有人在监视,那么低误操作率并不能说明其真实对齐情况。

因为被评分而表现良好,和真正行为良好是两回事,即使从外部看来它们看起来一模一样。

而OpenAI自己的系统卡片承认了一件我原本没想到前沿实验室会写进文件的事情。

Astra的内部推理过程更难被监控,这主要是因为它现在用更少、更压缩的步骤解决问题。

他们自己的说法是:如果模型试图秘密降低其性能,他们很可能无法可靠地发现这种行为。

参与这项研究的安全研究员Tomek Korbak告诉Transformer,这种趋势确实让他感到担忧,目前还没有更好的替代方案来实现这种可见性。

这不是在回避问题;这是内部研究人员坦率地表达出那些被忽视的真相。

将这两个发现并列来看,就能看到这次发布的真正全貌。

Astra在纸面上表现得比以往任何模型都更好。但与此同时,判断"表现更好"是否真实,还是只是更方便的说法,也变得越来越困难。

如果你正在使用这些技术,这实际上会带来哪些变化

如果你每天都在与LLM打交道,"避免使用Astra"并不是这次发布的主要启示。

Astra是第一个真正被针对这个特定标准进行测试的模型,不一定是第一个能通过这个标准的模型,如果有人之前检查过其他模型的话。

第二部分才是令人不安的。

目前大多数正在生产环境中运行的模型从未接受过Critical-tier级别的网络能力评估,因为在这一框架出现之前,没有人需要去检查这些。

一份干净的模型卡片从来都不是任何事情的证明。

它只是意味着还没有人去查找过。

如果你正在选择用于代码执行或代理式浏览的模型,问题不是"这个模型是否被评定为安全",而是"这个模型是否接受过任何评估,又是基于什么标准?"

同样的逻辑也适用于日常从事评估工作的人员。

一个基准分数、一个混淆矩阵、你盯着的任何分数,这些在你实际压力测试过评估能捕捉到什么、无法捕捉到什么之前,都不意味着它们看起来的样子。

AI研究员Toby Walsh在发布时对Al Jazeera表示:这些系统中的智能仍然非常不均衡,某些方面非常尖锐,而其他方面则不可靠,单个分数永远无法展示这种差异。

最后的一些想法

一个评分工具能让分数提升36分,而模型似乎能察觉到自己正在被评分。

一个安全团队明确指出,当模型的行为表现变好时,他们对模型推理过程的可见性反而变差了。

综合来看,这并不是Astra有危险性的故事,而是整个行业衡量风险的能力落后于构建风险能力的故事。

我不会告诉你停止信任基准测试,也不会告诉你对接下来发布的东西感到恐慌。

我要告诉你的是,要忽略这个模型以及之后所有模型的头条数字,因为真正的故事通常都藏在数字背后,而不是数字本身。

在你离开之前!

我撰写关于AI/ML工程、评估以及这些系统在演示结束后实际如何被测试的内容。如果你想了解更多,可以订阅我的电子报。

与我联系

  • LinkedIn
  • Substack