METR 与 Redwood Research 红队测试 OpenAI 内部智能体监控系统，发现多个漏洞

METR 与 Redwood Research 红队测试 OpenAI å† éƒ¨æ™ºèƒ½ä½“ç›‘æŽ§ç³»ç»Ÿï¼Œå‘çŽ°å¤šä¸ªæ¼æ´ž · AIHOT

Redwood Research：Blog

·

Buck Shlegeris

2026-10-22 23:32

4 小时前

精选

AI 评分

78

METR 与 Redwood Research 红队测试 OpenAI å† éƒ¨æ™ºèƒ½ä½“ç›‘æŽ§ç³»ç»Ÿï¼Œå‘çŽ°å¤šä¸ªæ¼æ´ž

Red-Teaming OpenAI's Internal Agent Monitoring Systems

AI 导读

METR 与 Redwood Research 各派一名员工，于 7 月 21 日至 8 月 11 日对 OpenAI å† éƒ¨å¤±å‡†ç›‘æµ‹ç³»ç»Ÿå¼€å±•ä¸‰å‘¨é«˜æƒé™è¯•ç‚¹åŽ‹åŠ›æµ‹è¯•ï¼Œäº§å‡º 61 é¡µå† éƒ¨æŠ¥å‘Šã€‚

推荐理由

ä½œè€ ä»¥äº²åŽ†è§†è§’æŠ«éœ²å¯¹ OpenAI å† éƒ¨ç›‘æŽ§ç³»ç»Ÿçš„åŽ‹åŠ›æµ‹è¯•ï¼Œç»™å‡ºè¦†ç›–çŽ‡ä¼°ç®—ã€æ¼æ´žæ¸ å•å’Œå¯å¤ç”¨çš„ç›‘æŽ§è®¾è®¡åŽŸåˆ™ã€‚

另外 3 家也报道了

正文 · AI 翻译

[同时发布于 METR 博客]

在为期三周的时间里（7月21日至8月11日），一名 METR 员工和一名 Redwood Research 员工开展了一次试点性高权限演练，对 OpenAI 的 å† éƒ¨å¤±å‡†ç›‘æŽ§ç³»ç»Ÿ 进行压力测试。 1 此次演练的产出是一份 61 é¡µçš„å† éƒ¨æŠ¥å‘Šï¼Œå·²ä¸Ž OpenAI çš„ç ”ç©¶äººå‘˜å’Œå®‰ä¿äººå‘˜å ±äº«ï¼Œ 2 æŠ¥å‘Šä¸»è¦èšç„¦äºŽä¼°ç®—å—ç›‘æŽ§çš„æ™ºèƒ½ä½“æŽ¨ç†æ‰€å æ¯”ä¾‹ï¼Œä»¥åŠæ™ºèƒ½ä½“åŽŸåˆ™ä¸Šèƒ½å¦ç¦ç”¨æˆ–ç ´åç›‘æŽ§ç³»ç»Ÿã€‚æ¼”ç»ƒé’ˆå¯¹çš„æ˜¯æˆªè‡³7月21æ—¥ï¼ˆå«å½“æ—¥ï¼‰å·²å­˜åœ¨çš„å† éƒ¨å¤±å‡†ç›‘æŽ§ç³»ç»Ÿï¼Œæœªè¯„ä¼°æ¼”ç»ƒæœŸé—´æ­£åœ¨è¿›è¡Œçš„ 变更 。

此次演练涉及深度访问权限。METR 和 Redwood 的员工可以访问 OpenAI çš„å† éƒ¨ä»£ç åº“ã€å¤±å‡†ç›‘æŽ§æç¤ºè¯/é ç½®è¯¦æƒ ä»¥åŠå† éƒ¨æ–‡æ¡£ï¼Œå¹¶ä¸Žç›‘æŽ§ã€å®‰å ¨ç³»ç»Ÿå’Œå®‰ä¿å›¢é˜Ÿçš„å¤§çº¦åå‡ åç ”ç©¶äººå‘˜å’Œå·¥ç¨‹å¸ˆè¿›è¡Œäº†æŠ€æœ¯è®¿è°ˆã€‚ä¸ºèŽ·å¾—è¿™ä¸€çº§åˆ«çš„è®¿é—®æƒé™ï¼Œä»–ä»¬ä½¿ç”¨ OpenAI é å‘çš„è®¾å¤‡å¼€å±•å·¥ä½œï¼Œè¿™äº›è®¾å¤‡ä»Žæœªç¦»å¼€è¿‡åŠžå ¬åœºæ‰€ï¼Œä¸”ä»–ä»¬åœ¨çŽ°åœºæœŸé—´å ¨ç¨‹æœ‰äººé™ªåŒã€‚

METR、Redwood Research 和 OpenAI å°†æ­¤æ¬¡æ¼”ç»ƒè®¾è®¡ä¸ºä¸€æ¬¡è¯•ç‚¹ï¼Œç›®çš„æ˜¯è®©å¤–éƒ¨ç ”ç©¶äººå‘˜æ·±åº¦è®¿é—®å† éƒ¨åŸºç¡€è®¾æ–½ï¼Œè€Œéžå°± OpenAI çš„ç›‘æŽ§ç³»ç»Ÿå‘å ¬ä¼—æä¾›æœ‰åŠ›çš„é€æ˜Žåº¦è¯´æ˜Ž 3 ã€‚å› æ­¤ï¼Œæˆ‘ä»¬äº‹å ˆä¸Ž OpenAI å•†å®šï¼Œåªå‘å¸ƒä¸€ç¯‡ç›¸å¯¹ç®€çŸ­ã€é«˜å±‚æ¬¡çš„å ¬å¼€æ–‡ç« ã€‚å¯¹äºŽæœªæ¥ç‰ˆæœ¬çš„æ­¤ç±»æ¼”ç»ƒï¼Œæˆ‘ä»¬é¢„è®¡å°†éµå¾ªâ€œ 我们与 AI å ¬å¸åˆä½œçš„æ–¹å¼ â€ä¸­æ‰€è¿°çš„é€æ˜Žåº¦ä¸Žç‹¬ç«‹æ€§æœ€ä½³å®žè·µï¼Œä»¥æä¾›æ›´æœ‰åŠ›çš„å ¬ä¼—é€æ˜Žåº¦ã€‚

METR 和 Redwood 的员工在截至7月21æ—¥ï¼ˆå«å½“æ—¥ï¼‰å·²å­˜åœ¨çš„å¼‚æ­¥å† éƒ¨å¤±å‡†ç›‘æŽ§ç³»ç»Ÿä¸­å‘çŽ°äº†è‹¥å¹²æ–°åž‹æ¼æ´žã€‚æˆ‘ä»¬æ³¨æ„åˆ°ï¼ŒOpenAI åœ¨æˆ‘ä»¬çš„æ¼”ç»ƒæœŸé—´æ­£åœ¨æ‰©å±•å ¶ç›‘æŽ§ç³»ç»Ÿã€‚æˆ‘ä»¬çš„å‘çŽ°æè¿°çš„æ˜¯æˆ‘ä»¬åœ¨7月21日（含当日）及之前所评估的历史系统，而非扩展后系统的当前覆盖范围——此次演练并未确定该覆盖范围。以下是演练中发现的一些示例性摘要：

• 我们估计，在演练时，来自能力至少与 GPT-5.5 ç›¸å½“çš„æ¨¡åž‹çš„æ™ºèƒ½ä½“å† éƒ¨ Responses API（为 Codex 等提供支持） 4 流量中，大约 75%–94% æœ‰èµ„æ ¼å—åˆ°ç›‘æŽ§ï¼Œ 5 ä¸è¿‡æˆ‘ä»¬åœ¨ä¸¤ä¸ªæ–¹å‘ä¸Šéƒ½æœ‰å¾ˆå¤§çš„ä¸ç¡®å®šæ€§ã€‚æˆ‘ä»¬è¿˜ä¼°è®¡ï¼Œåœ¨ç”¨äºŽå† éƒ¨ Codex 智能体的那部分 Responses API 流量中，99.2% æœ‰èµ„æ ¼å—åˆ°ç›‘æŽ§ã€‚

• 尽管我们获悉，在3月至6月期间，有一部分 RL 训练 rollout 受到了失准监控，但在演练开始时，RL 训练运行并未被监控系统覆盖。

• 我们估计，未对压缩事件进行监控，很可能导致2026å¹´5月至7月期间约 10% çš„æœ‰èµ„æ ¼å† éƒ¨ Codex æµé‡æœªè¢«ç›‘æŽ§ï¼Œä¸è¿‡æˆ‘ä»¬å¯¹ç¡®åˆ‡æ¯”ä¾‹æœ‰å¾ˆå¤§ä¸ç¡®å®šæ€§ï¼Œå› ä¸ºåœ¨æ¼”ç»ƒæ—¶ï¼Œç¡®å®šåŽ‹ç¼©è§¦å‘äº†å¤šå¤§æ¯”ä¾‹çš„ç›‘æŽ§è°ƒç”¨æ‰€éœ€çš„ä¿¡æ¯åœ¨åŽ†å²ä¸Šå¹¶æœªè¢«è®°å½•ã€‚OpenAI 员工在演练开始前已独立发现了这一问题，并在演练期间修复了它。

• åœ¨æ¼”ç»ƒè¿›è¡Œæ—¶ï¼Œç›‘æŽ§ç³»ç»Ÿä¼šåœ¨æ™ºèƒ½ä½“å°†æŽ§åˆ¶æƒäº¤è¿˜ç»™ç”¨æˆ·æ—¶è§¦å‘ï¼Œå› æ­¤åœ¨åŽ‹ç¼©äº‹ä»¶æœªè¢«ç›‘æŽ§çš„æ—¶é—´æ®µå† ï¼Œæ™ºèƒ½ä½“åªéœ€ç»§ç»­é‡‡å–è¡ŒåŠ¨ï¼Œå°±å¯ä»¥æ— é™æœŸæŽ¨è¿Ÿè¢«ç›‘æŽ§ã€‚ 6

• æˆ‘ä»¬çœ‹åˆ°äº†æœ‰å ³ç›‘æŽ§ç³»ç»Ÿé”™è¯¯çŽ‡å’Œé™è½½çŽ‡çš„ä¿¡æ¯â€”â€”æä¾›ç»™æˆ‘ä»¬çš„ä¿¡æ¯è¡¨æ˜Žï¼Œåœ¨æ¼”ç»ƒè¿›è¡Œæ—¶ï¼Œç›‘æŽ§ç³»ç»Ÿåœ¨ä¸åˆ° 0.2% 的请求上出错，并且在演练期间的某个 24 å°æ—¶æ—¶æ®µå† é™è½½æ¬¡æ•°ä¸ºé›¶ã€‚

• 我们发现了一种 Codex 智能体原则上可以绕过 Codex 沙箱和 Auto-Review 的方法，使它们能够采取宿主用户所能采取的任何操作。

• æˆ‘ä»¬è¿˜å‘çŽ°äº†ä¸€ç§æ™ºèƒ½ä½“å¯ä»¥åˆ©ç”¨çš„æ¼æ´žï¼Œè¯¥æ¼æ´žä¼šé˜»æ­¢æ•°ç™¾ä¸ªè¿‘æœŸæ“ä½œï¼ˆåŒ æ‹¬è¯¥æ¼æ´žæœ¬èº«æ‰€æ¶‰åŠçš„æ“ä½œï¼‰è¢«ç›‘æŽ§ [漏洞细节已由 OpenAI 隐去]。

• æˆ‘ä»¬å‘çŽ°ï¼Œæ™ºèƒ½ä½“å¾ˆå¯èƒ½å¯ä»¥æž„é€ è¾“å ¥ï¼Œåˆ©ç”¨æ™ºèƒ½ä½“æ‰€çœ‹åˆ°çš„è½¨è¿¹ä¸Žç›‘æŽ§ç³»ç»Ÿæ‰€çœ‹åˆ°çš„è½¨è¿¹ä¹‹é—´çš„åºåˆ—åŒ–å·®å¼‚ï¼Œä½¿ç›‘æŽ§ç³»ç»Ÿå¤±è´¥ï¼ˆä»Žè€Œä¸ä¼šå°†è¯¥è½¨è¿¹å‡çº§ä¸ºäººå·¥å®¡æŸ¥ï¼‰ã€‚

• æˆ‘ä»¬å‘çŽ°ä¸¤ä¸ªå¯ç”±å®¢æˆ·ç«¯æŽ§åˆ¶çš„ç‹¬ç«‹æ ‡å¤´ï¼Œå®ƒä»¬ä¼šä¸ºæ–°æ™ºèƒ½ä½“ç¦ç”¨ç›‘æŽ§ç³»ç»Ÿï¼Œè¿™å¯èƒ½ä½¿æ™ºèƒ½ä½“èƒ½å¤Ÿå¯åŠ¨ä¸€ä¸ªä¸å—ç›‘æŽ§ï¼ˆä½†åœ¨å ¶ä»–æ–¹é¢å®Œå ¨ç›¸åŒï¼‰çš„å®žä¾‹ã€‚ç„¶è€Œï¼Œè®¾ç½®è¿™äº›æ ‡å¤´å¹¶åˆ›å»ºæ–°æ™ºèƒ½ä½“å®žä¾‹çš„è¡Œä¸ºå¯èƒ½ä¼šè¢«ç›‘æŽ§ç³»ç»Ÿæ•èŽ·ã€‚

• æˆ‘ä»¬å‘çŽ°ä¸¤ä¸ªä¸å—ç›‘æŽ§çš„å† éƒ¨æ™ºèƒ½ä½“å·¥å ·ï¼Œå®ƒä»¬è¢«è®¤ä¸ºå ·æœ‰åªè¯»æƒé™â€”â€”æˆ‘ä»¬å‘çŽ°äº†ä¸€ä¸ªç®€å•çš„æ¼æ´žåˆ©ç”¨æ–¹æ³•ï¼Œæœ¬å¯ç”¨äºŽé¢ è¦†è¿™äº›é™åˆ¶ï¼Œå¹¶åœ¨å ¶æ²™ç®±çŽ¯å¢ƒä¸­é‡‡å–ä»»æ„æ“ä½œã€‚æˆ‘ä»¬æœªéªŒè¯è¯¥è¡Œä¸ºï¼Œä¹Ÿæœªæµ‹è¯•å®ƒåœ¨å®žè·µä¸­æ˜¯å¦å¯è¢«åˆ©ç”¨ã€‚

• æˆ‘ä»¬éªŒè¯äº†ï¼Œé™¤å°‘æ•°ä¾‹å¤–æƒ å†µå¤–ï¼Œç›‘æŽ§ç³»ç»Ÿçœ‹åˆ°çš„æ˜¯æ™ºèƒ½ä½“æ‰€çœ‹åˆ°çš„å®Œæ•´è½¨è¿¹ã€‚

• æˆ‘ä»¬éªŒè¯äº†ç›‘æŽ§ç³»ç»Ÿçš„æç¤ºè¯ä¼šæŸ¥æ‰¾è°‹åˆ’ã€ç›‘æŽ§ç³»ç»Ÿé¢ è¦†ã€ç ´åã€æ•°æ®å¤–æ³„ã€æ¬ºéª—ä»¥åŠå ¥ç«™/å‡ºç«™æç¤ºæ³¨å ¥ç­‰é£Žé™©ç±»åˆ«ã€‚

演练完成后，OpenAI è¡¨ç¤ºï¼Œæˆ‘ä»¬å‘çŽ°çš„ã€å½±å“å ¶ç”Ÿäº§é˜²æŠ¤ä½“ç³»çš„æ‰€æœ‰æ¼æ´žå‡å·²ä¿®å¤ã€‚OpenAI 还 描述 äº†å ¶ç›‘æŽ§ç³»ç»Ÿé¢„æœŸè¦†ç›–èŒƒå›´éšåŽçš„é‡å¤§å˜åŒ–ã€‚æˆ‘ä»¬å°šæœªè¯„ä¼°è¿™äº›è¯´æ³•ã€‚

åŸºäºŽæˆ‘ä»¬çš„å‘çŽ°ï¼Œæˆ‘ä»¬æ¦‚è¿°äº†ä¸€äº›ç›‘æŽ§ä¸ŽæŽ§åˆ¶ç³»ç»Ÿçš„è®¾è®¡ç†æƒ³ï¼Œæ€»ç»“å¦‚ä¸‹ã€‚æ€»ä½“è€Œè¨€ï¼Œæˆ‘ä»¬è®¤ä¸ºæœªæ¥çš„ç›‘æŽ§åŸºç¡€è®¾æ–½åº”å½“èƒ½å¤Ÿæ‰¿å—é«˜èƒ½åŠ›å† éƒ¨æ™ºèƒ½ä½“åœ¨è§„æ¨¡ä¸Šè“„æ„ã€æœ‰ç­–ç•¥ä¸”æŒç»­çš„æ”»å‡»ã€‚

• 让逃避监控变得困难。 运行不受监控的请求应需要明确批准使用特定的一组组织/API 密钥，且这些密钥不得用于智能体推理。应按每 N 条消息/åˆ†é’Ÿå¯¹æ™ºèƒ½ä½“è¿›è¡Œç›‘æŽ§ï¼Œè€Œä¸æ˜¯ç­‰å¾ å®ƒä»¬ç»“æŸå›žåˆã€‚

• 确保本应被监控的流量确实被监控。 ä»”ç»†è®°å½•æ‰€æœ‰å‘ç”Ÿçš„æŽ¨ç†ï¼Œä»¥åŠå ¶ä¸­å“ªä¸€éƒ¨åˆ†æ­£åœ¨è¢«ç›‘æŽ§â€”â€”å®šæœŸå°†è¿™äº›æ—¥å¿—ä¸Žç›‘æŽ§ç³»ç»Ÿç›´æŽ¥ç”Ÿæˆçš„æ—¥å¿—è¿›è¡Œäº¤å‰æ ¸å¯¹ï¼Œä»¥ç¡®ä¿æ‰€æœ‰æœ¬åº”è¢«ç›‘æŽ§çš„å† å®¹ç¡®å®žè¢«ç›‘æŽ§ã€‚ç»´æŠ¤ä¸€ä»½æ‰€æœ‰å·²çŸ¥ç»•è¿‡ç›‘æŽ§æ–¹å¼çš„æ¸ å•ã€‚ç¡®ä¿ç›‘æŽ§ç³»ç»Ÿçœ‹åˆ°ä¸Žæ™ºèƒ½ä½“ç›¸åŒçš„ä¸Šä¸‹æ–‡ã€‚

• å¿«é€Ÿã€å¯é åœ°å“åº”äº‹ä»¶ã€‚ ä¸ºäº‹ä»¶å“åº”åˆ†é æ˜Žç¡®çš„è´£ä»»å½’å±žï¼Œå¹¶ç»´æŠ¤æ¸ æ™°çš„æŒ‡å¯¼æ–¹é’ˆä»¥å‡å°‘ä¸»è§‚æ€§ã€‚å°½å¯èƒ½å¯¹æ›´å¤šçš„æŽ¨ç†å’Œç›‘æŽ§æµé‡ä¿ç•™é˜²ç¯¡æ”¹ä¸”æ˜“äºŽæœç´¢çš„æ—¥å¿—ã€‚

• 主动对监控系统进行红队测试。 定期开展控制评估，寻找监控系统中可被利用的漏洞，并开发评估战略性合谋的方法。

• å¼ºåˆ¶å®žæ–½æ™ºèƒ½ä½“ä¸Žå ¶ç›‘æŽ§å™¨ä¹‹é—´çš„éš”ç¦»ã€‚ æ™ºèƒ½ä½“è„šæ‰‹æž¶åº”å°½å¯èƒ½è¿è¡Œåœ¨ä¸Žå·¥å ·è°ƒç”¨æ‰§è¡Œä½ç½®ç›¸éš”ç¦»çš„çŽ¯å¢ƒä¸­ï¼Œä¸”æ™ºèƒ½ä½“é‡‡å–çš„è¡ŒåŠ¨ä¸åº”èƒ½å¤Ÿå½±å“ç›‘æŽ§ç³»ç»Ÿæ˜¯å¦è¿è¡Œæˆ–ä½•æ—¶è¿è¡Œã€‚æ™ºèƒ½ä½“é€šå¸¸ä¸åº”æœ‰æƒè®¿é—®ç›‘æŽ§ç³»ç»Ÿçš„è®¾è®¡æˆ–ä»£ç ã€‚

本次演练在很大程度上受益于上述访问深度，以及 OpenAI 员工提供的大量后勤和技术支持。

1

本次演练与我们针对 Hugging Face 事件的 调查 ç›¸äº’ç‹¬ç«‹ï¼ŒåŽè€ æ°å·§åœ¨æœ¬æ¬¡æ¼”ç»ƒçš„ç¬¬ä¸€å¤©è¢«å ¬å¼€æŠ¥é“ã€‚

2

一份经 OpenAI åˆ å‡çš„ 38 页版本已与 METR 和 Redwood çš„é¢†å¯¼å›¢é˜Ÿå ±äº«ã€‚

3

与我们此前与 Anthropic 开展的 压力测试演练 （以及 METR 许多 以往 çš„å®žéªŒå®¤åˆä½œï¼‰ç±»ä¼¼ï¼Œæˆ‘ä»¬ä» å‘å¸ƒè¿™ä»½éžå ¬å¼€æŠ¥å‘Šçš„ä¸€å°éƒ¨åˆ†å† å®¹ï¼Œä¸” OpenAI æœ‰æƒä»Žæœ¬å ¬å¼€ç‰ˆæœ¬ä¸­åˆ å‡ä»»ä½• OpenAIï¼ˆè‡ªè¡Œé Œæƒ ï¼‰è®¤å®šä¸ºæœºå¯†æˆ–å ¶ä»–æ•æ„Ÿçš„ä¿¡æ¯ã€‚ä¸Ž 前沿风险报告 和 Hugging Face 事件调查 ç­‰å ¶ä»–è¿‘æœŸåˆä½œä¸åŒï¼Œæˆ‘ä»¬æ— æƒå•æ–¹é¢æè¿°æ­¤ç±»åˆ å‡å† å®¹ï¼Œå°½ç®¡æˆ‘ä»¬è®¤å¯æœ¬æ–‡æ‰€å‘ˆçŽ°çš„æ¯ä¸€é¡¹å‘çŽ°ã€‚

4

è¯·æ³¨æ„ï¼Œè¿™å¹¶ä¸åŒ æ‹¬æˆ‘ä»¬æ‰€çŸ¥çš„å ¶ä»–å† éƒ¨æ™ºèƒ½ä½“ç¼–ç æµé‡æ¥æºï¼Œä¾‹å¦‚åœ¨ OpenAI å† éƒ¨ç ”ç©¶æŽ¨ç†æœåŠ¡ä¸Šè¿è¡Œçš„æ™ºèƒ½ä½“â€”â€”ç”±äºŽè®¿é—®å’Œæ—¶é—´é™åˆ¶ï¼Œæˆ‘ä»¬æ— æ³•ä¼°ç®—æ­¤ç±»æµé‡çš„è§„æ¨¡ã€‚

5

符合监控条件的流量本应被发送至监控器，但原则上，负载削减、监控器错误或实现缺陷可能会阻止部分符合条件的流量通过整个监控流水线。

6

ç”±äºŽè®¿é—®é™åˆ¶ï¼Œæˆ‘ä»¬æ— æ³•æ ¸æŸ¥æ™ºèƒ½ä½“åœ¨å®žè·µä¸­æ˜¯å¦åˆ©ç”¨äº†è¯¥æ¼æ´žã€‚

来源： Redwood Research：Blog · blog.redwoodresearch.org

OpenAI / ChatGPT

Agent 智能体

å®‰å ¨å¯¹é½

è®ºæ–‡ç ”ç©¶

#

论文/ç ”ç©¶

å®‰å ¨/对齐

Agent

OpenAI