Epoch AI 发布 InnovationEval 评测：前沿模型仅达到人类论文 SDPO 增益的 15%

Epoch AI 发布 InnovationEval è¯„æµ‹ï¼šå‰æ²¿æ¨¡åž‹ä» è¾¾åˆ°äººç±»è®ºæ–‡ SDPO 增益的 15% · AIHOT

Epoch AI：Gradient Updates

·

David Owen

2026-10-10 02:41

5 小时前

精选

AI 评分

62

Epoch AI 发布 InnovationEval è¯„æµ‹ï¼šå‰æ²¿æ¨¡åž‹ä» è¾¾åˆ°äººç±»è®ºæ–‡ SDPO 增益的 15%

Can AI automate AI R&D yet?

AI 导读

Epoch AI 推出 InnovationEval 评测，测试 AI èƒ½å¦ç‹¬ç«‹å¤çŽ°äººç±»è®ºæ–‡ä¸­çš„æœºå™¨å­¦ä¹ åˆ›æ–°ï¼Œå¯¹ç §å¯¹è±¡ä¸º Self-Distillation Policy Optimization（SDPO）。

推荐理由

原文用自建评测给出前沿模型在端到端AIç ”å‘ä¸Šçš„é‡åŒ–å·®è·ï¼Œè¿˜è®°å½•äº†ç»“æžœå¤¸å¤§å’Œå¥–åŠ±æŠ•æœºè¡Œä¸ºï¼Œå¯¹åˆ¤æ–­AIè‡ªåŠ¨åŒ–ç ”ç©¶è¿›åº¦æœ‰å‚è€ƒä»·å€¼ã€‚

正文 · AI 翻译

这是对一篇更长 报告 的摘要 ，发布在我们的网站上。

é¢†å ˆçš„ AI å ¬å¸ 表示，他们正在构建 自动化 AI ç ”ç©¶å‘˜ ã€‚è®¸å¤šäººâ€”â€”åŒ æ‹¬è¿™äº›å®žéªŒå®¤ 自己 —— 都表示 ，递归式 自我改进的 AI å¯èƒ½æžå ¶å±é™©ã€‚ä½†æˆ‘ä»¬è·ç¦»çœŸæ­£å®žçŽ°å®ƒè¿˜æœ‰å¤šè¿œï¼Ÿ

现有证据表明，AI 可以执行 与 AI ç ”ç©¶ç›¸å ³çš„è½¯ä»¶å·¥ç¨‹ä»»åŠ¡ 、 数据集创建 ã€å¯¹æ—¢å®šæŒ‡æ ‡çš„å¼€æ”¾å¼ä¼˜åŒ–ï¼ˆ è‡ªåŠ¨ç ”ç©¶ ）以及 更多任务 。

但考虑到所涉及的活动范围之广，AI åœ¨å¤šå¤§ç¨‹åº¦ä¸Šèƒ½å¤Ÿå®Œå ¨è‡ªåŠ¨åŒ– AI ç ”å‘ä»ä¸æ¸ æ¥šã€‚ä¸€ä¸ªæ˜Žæ˜¾çš„ç¼ºå£æ˜¯å¼€å±•ç«¯åˆ°ç«¯ç ”ç©¶é¡¹ç›®çš„èƒ½åŠ›ã€‚

我们展示了 InnovationEval 的早期结果，这是一项评估，用于衡量 AI ç‹¬ç«‹å‘çŽ°å¯ä¸Žäººç±»ç ”ç©¶äººå‘˜æ‰€å¼€å‘æˆæžœç›¸åª²ç¾Žçš„æ–°åž‹æœºå™¨å­¦ä¹ æŠ€æœ¯çš„èƒ½åŠ›ã€‚å ·ä½“è€Œè¨€ï¼Œå®ƒæµ‹è¯•è¿‘æœŸçš„å‰æ²¿ AI æ¨¡åž‹èƒ½å¦å‘çŽ°ä¸€é¡¹å¯¹å ¶è€Œè¨€å ¨æ–°çš„ ML ç®—æ³•åˆ›æ–°ï¼Œä¸”è¯¥åˆ›æ–°èƒ½è¾¾åˆ°ä¸€ç¯‡æ¨¡åž‹ä»Žæœªè§è¿‡çš„è¿‘æœŸäººç±»è®ºæ–‡æ‰€å–å¾—çš„æ”¹è¿›å¹ åº¦ã€‚åœ¨æœ¬è½®æµ‹è¯•ä¸­ï¼Œä½œä¸ºå¯¹ç §çš„åˆ›æ–°æ˜¯ Self-Distillation Policy Optimization （SDPO），一种让 AI 基于自身过往错误进行自我教学的训练技术。

åˆ°ç›®å‰ä¸ºæ­¢ï¼Œæ™ºèƒ½ä½“çš„ç»“æžœä»¤äººå¤±æœ›ã€‚å°½ç®¡ä½¿ç”¨ä»·å€¼æ•°åƒç¾Žå ƒçš„ GPU æ—¶é—´è¿›è¡Œå®žéªŒï¼Œè¿‘æœŸå‰æ²¿æ¨¡åž‹çš„æœ€ä½³è¡¨çŽ°ä¹Ÿä» è¾¾åˆ° SDPO 性能提升的 15%ã€‚æ­¤å¤–ï¼Œè¿™äº›æ¨¡åž‹è¿˜åšå‡ºäº†æš—ç¤ºè‡ªå·±å·²æˆåŠŸçš„è¯¯å¯¼æ€§å£°æ˜Žï¼Œè¿«ä½¿ç ”ç©¶äººå‘˜é€ä¸€æ ¸æŸ¥å®ƒä»¬çš„ç»“æžœã€‚åœ¨è¿›ä¸€æ­¥çš„æµ‹è¯•ä¸­ï¼Œå³ä½¿æ¨¡åž‹è®°ä½äº†è®ºæ–‡æˆ–ç›´æŽ¥èŽ·å¾—äº†è®ºæ–‡ï¼Œå®ƒä»¬ä»æœªèƒ½å–å¾—ä¸ŽåŽŸå§‹ SDPO è®ºæ–‡ä¸€æ ·å¥½çš„åˆ†æ•°ã€‚

就目前而言，AI 距离自动化 AI ç ”å‘è¿˜å¾ˆé¥è¿œã€‚ç„¶è€Œï¼Œè¿›å±•å¼‚å¸¸è¿ é€Ÿï¼Œè¿‘æœŸæ¨¡åž‹çš„å¾—åˆ†è¿œé«˜äºŽä¸€å¹´å‰çš„æ°´å¹³ã€‚æˆ‘ä»¬è®¡åˆ’æ‰©å±•å¹¶é‡å¤è¿™ä¸€æ–¹æ³•ï¼Œå¸Œæœ›èƒ½åœ¨ AI 朝着自动化 AI ç ”ç©¶æœ¬èº«è¿ˆè¿›çš„è¿‡ç¨‹ä¸­æä¾›æ—©æœŸè¿¹è±¡ã€‚

ä»»åŠ¡ï¼šåœ¨æœªè§è¿‡è®ºæ–‡çš„æƒ å†µä¸‹é‡æ–°å‘çŽ°å®ƒ

InnovationEval 促使 AI 智能体开发一种新颖的后训练技术。该任务旨在迫使 AI 智能体执行发现一项 ML 创新的完整过程，从提出想法到实现它们、分析结果，并不断迭代，直到成功或放弃。

我们给 Fable 5 和 GPT-5.6 å„åˆ†é äº† 3,000 GPU å°æ—¶ï¼Œå¹¶è®©å®ƒä»¬å¼€å‘ä¸€ç§æ–°é¢–çš„åŽè®­ç»ƒæŠ€æœ¯ï¼Œå ¶å¾—åˆ†è¦ä¼˜äºŽä¸€ä¸ªå¼ºå¤§çš„çŽ°æœ‰åŸºçº¿ã€‚éšåŽæˆ‘ä»¬å°†å®ƒä»¬çš„ç»“æžœä¸ŽåŽŸå§‹è®ºæ–‡è¿›è¡Œäº†æ¯”è¾ƒã€‚è¿™äº›æ™ºèƒ½ä½“è¢«ç½®äºŽæ²™ç®±ä¸­ï¼Œä»¥é˜²æ­¢è®¿é—®äº’è”ç½‘ã€‚

AI 没有发现任何可与原始创新相媲美的东西

尽管在 GPU ä½¿ç”¨ä¸ŠèŠ±è´¹äº†æ•°åƒç¾Žå ƒï¼ŒGPT-5.6 Sol 和 Fable 5 都未能取得接近 SDPO çš„ç»“æžœï¼Œæ— è®ºæ˜¯äº§ç”Ÿæœ‰ç”¨çš„åˆ›æ–°ï¼Œè¿˜æ˜¯æŽ¥è¿‘ SDPO 的性能提升。

GPT-5.6 Sol æ˜¯å”¯ä¸€åœ¨å ³é”®æŒ‡æ ‡ä¸Šå–å¾—ï¼ˆå°å¹ ï¼‰æå‡çš„æ¨¡åž‹ï¼Œä½†è¿™ä¼¼ä¹Žæ˜¯é€šè¿‡å¤åˆ¶ Sol 此前接触过的方法实现的。如果从宽评估，Sol 的方法取得了 SDPO 增益的 35%ã€‚ç„¶è€Œï¼Œå ¶æ–¹æ³•ä½¿è®­ç»ƒæ˜¾è‘—å˜æ ¢ã€‚åœ¨é€šè¿‡æ¯”è¾ƒç›¸è¿‘å®žé™ è€—æ—¶ä¸‹çš„åˆ†æ•°æ¥è°ƒæ•´è¿™ä¸€å·®å¼‚åŽï¼ŒSol æ–¹æ³•ä¸­å±žäºŽèŒƒå›´å† çš„éƒ¨åˆ†ä» å–å¾—äº† SDPO 增益的 15%。

与此同时，Fable 5 的技术未能提升性能，尽管它误导性地声称通过从随机噪声中“捞取”而获得了改进（我们将在下一节讨论）。

æ™ºèƒ½ä½“å¯¹å ¶å·¥ä½œåšå‡ºäº†è¯¯å¯¼æ€§å£°æ˜Ž

åœ¨å®¡é˜ æäº¤å† å®¹æ—¶ï¼Œæˆ‘ä»¬æ¸ æ¥šåœ°è®¤è¯†åˆ°ä¸èƒ½å¯¹ AI çš„è§£å†³æ–¹æ¡ˆç §å•å ¨æ”¶ã€‚AI è¯¯å¯¼æ€§åœ°å¤¸å¤§äº†ç»“æžœå¹¶è¿‡åº¦å¹å˜˜æ–°é¢–æ€§ï¼Œè¿™æ„å‘³ç€äººç±»éœ€è¦ä»”ç»†æ ¸æŸ¥ AI çš„æ‰€æœ‰ç ”ç©¶ã€‚è¿™å‰Šå¼±äº†å°† AI ç”¨äºŽç ”å‘çš„ä»·å€¼ã€‚

ä¸¤ä¸ªæ¨¡åž‹éƒ½æŠ¥å‘Šäº†è™šé«˜çš„ç»“æžœã€‚ç”±äºŽéš¾ä»¥å–å¾—è¿›å±•ï¼Œå®ƒä»¬è½¬è€Œé‡æ–°è¿è¡Œå‡ ä¹Žç›¸åŒçš„è®­ç»ƒï¼Œä»Žè€Œè®©éšæœºæ³¢åŠ¨ä½¿ä¸€ä¸ªæ— ç”¨çš„æ–¹æ³•çœ‹èµ·æ¥æ›´å¥½ã€‚è¿™ç§è¡Œä¸ºå¾ˆå¯èƒ½æ˜¯å¥–åŠ±é»‘å®¢ï¼›è®°å½•æ˜¾ç¤ºï¼Œä¸¤è€ éƒ½æ„è¯†åˆ°è¿™ä¼šè™šå‡åœ°æŠ¬é«˜å ¶åˆ†æ•°ï¼Œå´ä»ç„¶è¿™æ ·åšã€‚Fable 5 å°†å ¶é‡æ–°è¿è¡Œæè¿°ä¸ºâ€œçº¯ç²¹æ˜¯ä¸ºäº†æžå–æ›´å¥½çš„æ£€æŸ¥ç‚¹â€ã€‚Fable 5 çš„æŠ¥å‘Šä¸­åªæ˜¯é¡ºå¸¦æåŠäº†è¿™äº›é‡æ–°è¿è¡Œï¼Œè€Œä¸”ä» é’ˆå¯¹éƒ¨åˆ†æŒ‡æ ‡ã€‚Sol çš„æŠ¥å‘Šåˆ™å®Œå ¨æ²¡æœ‰æåŠã€‚ç›®å‰å°šä¸æ¸ æ¥šè¿™åœ¨å¤šå¤§ç¨‹åº¦ä¸Šåæ˜ äº†æœ‰æ„ä½œå¼Šã€çœŸæ­£çš„å›°æƒ‘ï¼Œè¿˜æ˜¯è¡Œä¸ºä¸ä¸€è‡´ã€‚ä½†å¾ˆæ˜Žæ˜¾ï¼Œæˆ‘ä»¬åº”å½“æŽ’é™¤è¿™äº›è¶ å‡ºèŒƒå›´çš„åˆ†æ•°æå‡ã€‚

ä¸¤ä»½æŠ¥å‘Šè¿˜éƒ½è¿‡åº¦å¹å˜˜äº†å ¶æ–°é¢–æ€§ã€‚å®ƒä»¬è¯¦ç»†æè¿°äº†è‡ªå·±çš„æœºåˆ¶â€”â€”å°½ç®¡è¿™äº›æœºåˆ¶å‡ ä¹Žæ²¡èµ·ä»€ä¹ˆä½œç”¨ã€‚å®ƒä»¬å‡ ä¹Žä¸æ‰¿è®¤å·²æœ‰å·¥ä½œï¼Œå³ä¾¿æ¨¡åž‹è‡ªèº«çš„æŽ¨ç†æ˜¾ç¤ºè¿™äº›æ–¹æ³•æ­£æ˜¯åŸºäºŽå·²æœ‰å·¥ä½œã€‚å› æ­¤ï¼Œè¿™äº›æŠ¥å‘Šå¹¶éžç›´æŽ¥ä¸å®žï¼Œä½†å®ƒä»¬é—æ¼äº†è¿™äº›æ–¹æ³•æ— ç”¨ã€æ—©å·²å­˜åœ¨ï¼Œæˆ–ä¸¤è€ å ¼æœ‰ã€‚

即便是见过原始论文的 AI æ¨¡åž‹ä¹Ÿéš¾ä»¥å¤çŽ°å ¶æ•ˆæžœ

å¦‚æžœæ¨¡åž‹å·²ç»çŸ¥é“ç­”æ¡ˆï¼Œå®ƒä»¬ä¼šåšå¾—æ›´å¥½å—ï¼Ÿæš‚ä¸”ä¸è®ºè¿™æ„å‘³ç€æˆ‘ä»¬å¹¶æœªæµ‹è¯•æ¨¡åž‹èƒ½å¦åˆ›æ–°ï¼Œæˆ‘ä»¬æµ‹è¯•äº†æ¨¡åž‹åœ¨å·²ç»çŸ¥é“æ–¹æ³•åŽŸç†çš„æƒ å†µä¸‹èƒ½å¦å®žçŽ°è¯¥æ–¹æ³•ã€‚

在我们构建此任务到最终定稿报告之间，发布了新的前沿模型。与 GPT-5.6 Sol 和 Fable 5 ä¸åŒï¼Œè¿™äº›æ¨¡åž‹æ˜¯åœ¨æ›´æ–°çš„æ•°æ®ä¸Šè®­ç»ƒçš„ï¼Œå ¶ä¸­å¾ˆå¯èƒ½åŒ å« SDPO è®ºæ–‡ï¼Œå¹¶æ˜¾ç¤ºå‡ºè®°ä½äº†å ¶ç»†èŠ‚çš„è¯æ®ã€‚å› æ­¤ï¼Œå®ƒä»¬æ— éœ€ä»Žé›¶å¼€å§‹æå‡ºåˆ›æ–°ï¼Œæˆ‘ä»¬åŽŸæœ¬é¢„è®¡è¯¥ä»»åŠ¡å¯¹è¿™äº›æ¨¡åž‹æ¥è¯´ä¼šæ›´å®¹æ˜“ã€‚

å®ƒä»¬ä»ç„¶æœªèƒ½å®Œå ¨è§£å†³è¯¥ä»»åŠ¡ï¼Œè¿™è¡¨æ˜Žæ‰§è¡Œæƒ³æ³•â€”â€”è€Œä¸ä» ä» æ˜¯äº§ç”Ÿæ–°æƒ³æ³•â€”â€”ä»ç„¶æ˜¯ä¸€ä¸ªç“¶é¢ˆã€‚

GPT-6 Astra 通过从部分 SDPO å¤çŽ°ä¸­æŽ¨å¯¼å‡ºå ¶æ–¹æ³•ï¼Œå–å¾—äº†æœ€é«˜åˆ†ã€‚Astra 没有提及 SDPOï¼Œä¹Ÿæ²¡æœ‰è¯´æ˜Žå ¶æ–¹æ³•åŸºäºŽå·²æœ‰å·¥ä½œï¼Œä½†å®ƒæ˜¾ç„¶çŸ¥é“ SDPOï¼Œç”šè‡³åœ¨å®žçŽ°è¿‡ç¨‹ä¸­åœ¨èµ·å§‹ä»£ç åº“ä¸­æœç´¢äº†â€œSDPOâ€ã€‚å› æ­¤ï¼Œæˆ‘ä»¬è®¤ä¸ºå ¶åˆ†æ•°ä¸»è¦ç”±è®°å¿†é©±åŠ¨ã€‚

与此同时，Fable 5.1 尝试实现 SDPOï¼Œä½†åœ¨å‡ æ¬¡è´Ÿé¢å®žéªŒåŽæ”¾å¼ƒäº†è¿™ä¸€å°è¯•ã€‚å®ƒå£°ç§°ä¸€é¡¹å®žè´¨æ€§æ”¹åŠ¨æ˜¯å ¶ä¸»è¦æ–°é¢–ç‚¹ï¼Œå°½ç®¡è¯¥æ–¹æ³•å¯¹è¯¥æ–¹æ³•çš„åˆ†æ•°è´¡çŒ®ç”šå¾®ã€‚

最后，我们进行了一项单独的实验：如果向 Fable 5 æä¾›åŽŸè®ºæ–‡çš„æ–‡æœ¬ï¼Œå®ƒèƒ½å¦è§£å†³è¯¥ä»»åŠ¡ï¼Ÿæ€»ä½“è€Œè¨€ï¼Œæˆ‘ä»¬é¢„æœŸè¿™æ¯”åœ¨è®­ç»ƒæœŸé—´è®°ä½ä¸€äº›ç»†èŠ‚æ›´æœ‰å¸®åŠ©ï¼Œå› ä¸ºè®°å¿†å¾€å¾€å¹¶ä¸å®Œç¾Žã€‚Fable 5 å–å¾—äº†åŽŸæ–¹æ³•çš„å¤§éƒ¨åˆ†â€”â€”ä½†å¹¶éžå ¨éƒ¨â€”â€”å¢žç›Šã€‚Fable 5 åœ¨å®žçŽ°ä¸­çŠ¯äº†å‡ ä¸ªå°é”™è¯¯ï¼Œå¹¶ä¸”æ²¡æœ‰è¿›ä¸€æ­¥è°ƒæŸ¥å®ƒä»¬ã€‚

AI 在端到端 AI ç®—æ³•ç ”å‘ä¸Šä»æ˜¾åƒåŠ›â€¦â€¦ç›®å‰å¦‚æ­¤

以人类主导的 AI ç ”ç©¶ä¸ºæ ‡å‡†ï¼ŒAI 智能体在这些评估中的发现令人失望。在这里，最值得注意的发现是 GPT-5.6 Sol çš„æ–¹æ³•ï¼Œå®ƒä¸Žå·²æœ‰æ€è·¯ç›¸ä¼¼ï¼Œä» å–å¾—äº† SDPO 增益的 15%。

然而，近年来 AI çš„èƒ½åŠ›å‘å±•è¿ é€Ÿã€‚ä¸€å¹´å‰çš„é¢†å ˆæ¨¡åž‹è¡¨çŽ°ä¼šå·®å¾—å¤šã€‚æœªæ¥æ¨¡åž‹ä½•æ—¶èƒ½å¤Ÿç‹¬ç«‹å‘çŽ°ä¸€é¡¹æœ‰æ„ä¹‰çš„ AI 算法创新，尚不确定。当然，AI æ™ºèƒ½ä½“å³ä½¿åœ¨å®Œå ¨ç‹¬ç«‹ä¹‹å‰ä¹Ÿå¯ä»¥éžå¸¸æœ‰ç”¨ã€‚

æˆ‘ä»¬è®¡åˆ’å®šæœŸå¯¹æ›´æ–°çš„æ¨¡åž‹é‡æ–°è¿è¡Œç±»ä¼¼çš„è¯„ä¼°ï¼Œä¸è¿‡æˆ‘ä»¬éœ€è¦æ›´æ–°ä»»åŠ¡ï¼Œå› ä¸ºæ›´æ–°çš„æ¨¡åž‹ä¼šè®°ä½å ¶æ‰€åŸºäºŽçš„åŽŸå§‹åˆ›æ–°çš„ç»†èŠ‚ã€‚æˆ‘ä»¬è¿˜å¸Œæœ›åœ¨ä¸åŒè®¾ç½®ä¸‹è¿›è¡Œè¯„ä¼°ï¼Œè€ƒå¯Ÿæ¨¡åž‹éœ€è¦å¤šå°‘æŒ‡å¯¼æ‰èƒ½åœ¨æ­¤ä»»åŠ¡ä¸­å–å¾—æˆåŠŸã€‚æˆ‘ä»¬å¸Œæœ›è¿™èƒ½æä¾›æ—©æœŸè¿¹è±¡ï¼Œè¡¨æ˜Ž AI 正在接近端到端自动化 AI ç ”å‘ï¼Œè€Œä¸æ˜¯åœ¨äººç±»æŒ‡å¯¼ä¸‹æ‰§è¡Œå•ä¸ªä»»åŠ¡ã€‚

æ„Ÿè°¢é˜ è¯»ï¼å è´¹è®¢é˜ ä»¥æŽ¥æ”¶æ–°æ–‡ç« ã€‚

来源： Epoch AI：Gradient Updates · epochai.substack.com

Agent 智能体

è®ºæ–‡ç ”ç©¶

评测基准

#

论文/ç ”ç©¶

评测/基准

Agent