Microsoft AI 发布 SDBench 基准与 MAI-DxO 诊断系统，登 Science

Microsoft AI 发布 SDBench 基准与 MAI-DxO 诊断系统，登 Science · AIHOT

Microsoft AI：官方博客

·

2026-10-23 02:01

2 小时前

精选

AI 评分

80

Microsoft AI 发布 SDBench 基准与 MAI-DxO 诊断系统，登 Science

Building Medical Superintelligence

AI 导读

Microsoft AI 发布 Sequential Diagnosis Benchmark（SDBench）和 AI 诊断系统 MAI-DxO，论文发表于 Science。

推荐理由

原文给出 SDBench 基准与 MAI-DxO çš„å ·ä½“å‡†ç¡®çŽ‡å’Œæˆæœ¬æ•°æ®ï¼Œå¹¶å¼€æ”¾éƒ¨åˆ†è¯„æµ‹ä»£ç ï¼Œè¯»è€ å¯æ®æ­¤è¯„ä¼°å ¶è¯Šæ–­æŽ¨ç†æ–¹æ³•ã€‚

另外 4 家也报道了

正文 · AI 翻译

健康

MAI 健康团队

2026年10月22日

如果 AI èƒ½å¸®åŠ©ä¸´åºŠåŒ»ç”Ÿé€æ­¥å®Œæˆå¤æ‚çš„åŒ»å­¦è¯Šæ–­ï¼Œå¹¶ä»¥æ›´ä½Žçš„æˆæœ¬ã€æ›´å°‘çš„åŒ»å­¦æ£€æŸ¥å®žçŽ°æ›´é«˜çš„å‡†ç¡®çŽ‡ï¼Œä¼šæ€Žæ ·ï¼Ÿ

è¿™ä¸€æœªæ¥æ­£é€æ¸æˆä¸ºçŽ°å®žã€‚åœ¨ç¾Žå›½æ€¥è¯Šç§‘çš„å¸¸è§å°±è¯Šç— ä¾‹ä¸­ï¼Œä½¿ç”¨ MIMIC-IV-ED çš„ç— ä¾‹è¿›è¡Œè¯„ä¼°æ—¶ï¼Œæˆ‘ä»¬çš„ AI 诊断系统 MAI-DxO 的准确率是医生的 1.7 倍。

而在发表于 The New England Journal of Medicine çš„åŒ»å­¦æœ€å¤æ‚ç— ä¾‹ä¸­ï¼ŒMAI-DxO çš„å‡†ç¡®çŽ‡æ˜¯ä½¿ç”¨æ•™ç§‘ä¹¦å’Œäº’è”ç½‘çš„åŒ»ç”Ÿçš„ä¸¤å€ä»¥ä¸Šâ€”â€”å½“åŒ»ç”Ÿåœ¨æ²¡æœ‰è¿™äº›èµ„æºçš„æƒ å†µä¸‹è¿›è¡Œè¯Šæ–­æ—¶ï¼Œå ¶å‡†ç¡®çŽ‡æŽ¥è¿‘å››å€ã€‚å®ƒè¿˜èƒ½ä»¥ä¸€åŠç”šè‡³ä¸‰åˆ†ä¹‹ä¸€çš„æˆæœ¬åšåˆ°è¿™ä¸€ç‚¹ï¼Œç”¨æ›´å°‘çš„æ£€æŸ¥å’Œæ“ä½œå¾—å‡ºæ­£ç¡®è¯Šæ–­ã€‚

æˆ‘ä»¬çš„ç ”ç©¶æˆæžœä»Šå¤©å‘è¡¨åœ¨ Science 。

本周还发表在 BMJ Digital Health and AI 。 ä¸Šçš„æ–‡ç« ä»‹ç»äº†æˆ‘ä»¬å¯¹åŒ»ç–—è¶ çº§æ™ºèƒ½çš„æ„¿æ™¯ï¼Œå¯é˜ è¯»æ›´å¤šå† å®¹ã€‚

重新思考 AI 的构建与测试方式

AI æœ‰æ½œåŠ›å˜é©å¥åº·ä¸ŽåŒ»ç–—ä¿å¥ï¼Œç›¸å ³è¿›å±•æ­£åœ¨è¿ é€ŸåŠ å¿«ã€‚å½“å‰çš„æŒ‘æˆ˜åœ¨äºŽæž„å»ºå¹¶ä¸¥æ ¼è¯„ä¼° AI ç³»ç»Ÿï¼Œå°†å ¶ä¸´åºŠæŽ¨ç†èƒ½åŠ›çš„è¿›æ­¥è½¬åŒ–ä¸ºæœ‰æ„ä¹‰çš„å½±å“ã€‚

今天的论文 建立在早期工作之上 ，i 提出了这一转变的两项基础：顺序诊断基准（SDBench），用于测试逐步诊断推理；以及 Microsoft AI Diagnostic Orchestrator（MAI-DxOï¼‰ï¼Œè¿™æ˜¯æˆ‘ä»¬åœ¨è¯¥åŸºå‡†ä¸Šè¡¨çŽ°é¢†å ˆçš„ AI 系统。

诸如 ç¾Žå›½åŒ»å¸ˆæ‰§ç §è€ƒè¯• （USMLEï¼‰ç­‰åŒ»å­¦æ‰§ç §è€ƒè¯•æ—¨åœ¨è¯„ä¼°åŒ»ç”Ÿçš„çŸ¥è¯†â€”â€”è€Œéžè¿›è¡Œä¸´åºŠè¯Šæ–­çš„çŽ°å®žæƒ å†µã€‚åœ¨è¿™äº›è€ƒè¯•ä¸­ï¼Œæ‰€æœ‰ä¿¡æ¯éƒ½ä¼šé¢„å ˆç»™å‡ºï¼Œå¹¶é€‰æ‹©ä¸€ä¸ªç­”æ¡ˆï¼›è€Œåœ¨å®žè·µä¸­ï¼Œä¸´åºŠåŒ»ç”Ÿå¿ é¡»é€æ­¥æž„å»ºæ•´ä½“æƒ å†µï¼Œå†³å®šè¦è¯¢é—®ä»€ä¹ˆã€å¼€å ·å“ªäº›æ£€æŸ¥ï¼Œä»¥åŠæ¯é¡¹æ–°å‘çŽ°å¦‚ä½•æ”¹å˜å¯èƒ½çš„è¯Šæ–­ã€‚æ­¤ç±»è€ƒè¯•å·²æˆä¸ºè¯„ä¼°å¥åº· AI 性能的常见基准 。

这就是我们开发 SDBench çš„åŽŸå› ï¼Œå®ƒé€šè¿‡ä¸¤ç»„äº’è¡¥çš„ç— ä¾‹è¯„ä¼°æ€§èƒ½ï¼šå–è‡ª The New England Journal of Medicine （NEJMï¼‰ç— ä¾‹æŠ¥å‘Šçš„ 304 ä¸ªå¤æ‚ç— ä¾‹ï¼Œä»¥åŠæ¥è‡ª MIMIC-IV-ED çš„ä¸€ç»„æ›´å ¸åž‹çš„æ€¥è¯Šç§‘å°±è¯Šç— ä¾‹ã€‚æ¯ä¸ªç— ä¾‹éƒ½ä¼šæˆä¸ºä¸€ä¸ªäº¤äº’å¼ç— ä¾‹ï¼ŒAI 模型和/或医生从有限信息开始，并选择接下来请求什么。该基准衡量诊断准确率、请求的证据和估计的检查成本——同时评估答案和所采取的路径。

我们构建了 MAI-DxO，并在 SDBench ä¸­å¯¹å ¶è¿›è¡Œäº†æµ‹è¯•ã€‚å®ƒå¹¶éžä¾èµ–å•ä¸€æ¨¡åž‹ç«‹å³ç»™å‡ºç­”æ¡ˆï¼Œè€Œæ˜¯åƒä¸€ç»„è™šæ‹ŸåŒ»ç”Ÿé‚£æ ·è¿ä½œï¼šæ¯ä½åŒ»ç”Ÿæå‡ºè¯Šæ–­ã€é€‰æ‹©æœ‰ç”¨çš„é—®é¢˜æˆ–æ£€æŸ¥ï¼Œå¹¶å¯¹é€æ¸å½¢æˆçš„è§‚ç‚¹æå‡ºè´¨ç–‘ã€‚MAI-DxO åœ¨æ•°è½®è¾©è®ºä¸­åè°ƒè¿™ä¸€äº¤æµï¼Œéšç€è¯æ®å‡ºçŽ°æ›´æ–°å ¶è¯„ä¼°ï¼Œå¹¶æƒè¡¡æ¯é¡¹æ£€æŸ¥çš„å¯èƒ½ä»·å€¼ä¸Žæˆæœ¬ã€‚

我们的发现：

• 在复杂的 NEJM ç— ä¾‹ä¸Šï¼ŒMAI-DxO 达到了 83% çš„è¯Šæ–­å‡†ç¡®çŽ‡ã€‚åŒ»ç”Ÿåœ¨æ²¡æœ‰å¤–éƒ¨å‚è€ƒèµ„æ–™çš„æƒ å†µä¸‹è¾¾åˆ° 22%，有参考资料时为 36%，这意味着 MAI-DxO çš„å‡†ç¡®çŽ‡åˆ†åˆ«çº¦ä¸ºå ¶ 3.7 倍和 2.3 倍。

• 在来自 MIMIC-IV-ED çš„æ›´å ¸åž‹çš„æ€¥è¯Šç§‘ç— ä¾‹ä¸Šï¼ŒMAI-DxO 达到了 80% 的准确率，而医生为 47%——高出 1.7 倍以上。

• 当更侧重成本优化时，MAI-DxO çš„è¡¨çŽ°ä¾ç„¶å¼ºåŠ²ï¼ŒåŒæ—¶é€‰æ‹©äº†æ›´å ·æˆæœ¬æ•ˆç›Šçš„æ£€æŸ¥æ–¹æ¡ˆã€‚åœ¨ NEJM ç— ä¾‹ä¸Šï¼Œä¸€ç§é ç½®ä»¥ä¸åˆ°å¯¹æ¯”ç³»ç»Ÿä¸€åŠçš„æˆæœ¬è¾¾åˆ°äº† 81% 的准确率。

• åœ¨ä¸¤ä¸ªæ•°æ®é›†ä¸Šï¼Œæ²¡æœ‰å ¶ä»–äººç±»æˆ– AI 方法能比 MAI-DxO 既更准确又成本更低。

• å½“æˆ‘ä»¬ä½¿ç”¨åŒ æ‹¬ GPT-5.5 åœ¨å† çš„æ›´æ–°æ¨¡åž‹é‡å¤è¯„ä¼°æ—¶ï¼Œè¿™äº›æå‡ä¾ç„¶å­˜åœ¨â€”â€”å¹¶ä¸”æœ‰æ‰€æ”¹å–„â€”â€”ä¸”æœªæ”¹å˜ç¼–æŽ’æ–¹æ³•ï¼Œè¿™è¡¨æ˜Žè¯¥æ–¹æ³•å¹¶ä¸ç»‘å®šäºŽæŸä¸€ä»£æ¨¡åž‹ã€‚

我们正在开源 SDBench 用于部分 NEJM ç— ä¾‹â€”â€”åŒ æ‹¬åŸºå‡†ã€Gatekeeper、Judge å’Œæˆæœ¬ä¼°ç®—ä»£ç â€”â€”ä»¥ä¾¿ç ”ç©¶äººå‘˜èƒ½å¤Ÿå¤çŽ°è¯„ä¼°ã€æµ‹è¯•å ¶ä»–æ¨¡åž‹ï¼Œå¹¶å¯¹è¿™äº›å‘çŽ°æå‡ºæŒ‘æˆ˜æˆ–åŠ ä»¥æ‰©å±•ã€‚

ä»Žæ›´å¥½çš„è¯Šæ–­åˆ°æ›´å¥½çš„ç §æŠ¤

è¯Šæ–­åªæ˜¯ç §æŠ¤æ— ç¨‹çš„ä¸€éƒ¨åˆ†ã€‚æ›´å¥½çš„ç §æŠ¤è¿˜éœ€è¦è·Ÿä¸ŠåŒ»å­¦çŸ¥è¯†ã€é€‰æ‹©æ­£ç¡®çš„æ²»ç–—ã€ç†è§£éšæ—¶é—´å‘ç”Ÿçš„å˜åŒ–ï¼Œå¹¶æ”¯æŒåæ˜ ä¸ªäººä»·å€¼è§‚å’Œç §æŠ¤å¯åŠæ€§çš„é€‰æ‹©ã€‚æœºä¼šåœ¨äºŽå°†è¿™äº›èƒ½åŠ›ç»Ÿä¸€ä¸ºä¸€ç§å½“ä»Šå°šæœªå¹¿æ³›å¯ç”¨çš„ç §æŠ¤æ ‡å‡†ã€‚åœ¨å‘è¡¨äºŽ BMJ Digital Health and AI 的 The Building Blocks of Medical Superintelligence 一文中，我们探讨了 AI éœ€è¦å ·å¤‡ä»€ä¹ˆæ‰èƒ½æ”¯æŒè¿™ä¸€æ›´å®å¤§çš„æ„¿æ™¯â€”â€”å¹¶æœ€ç»ˆè¶ è¶Šå½“ä»Šæœ€å¼ºä¸´åºŠå›¢é˜Ÿå’Œå«ç”Ÿç³»ç»Ÿçš„èƒ½åŠ›ã€‚

序贯诊断提供了一个早期示例：AI åŒ»ç”Ÿåä½œã€è´¨ç–‘å‡è®¾ï¼Œå¹¶éšç€è¯æ®å‡ºçŽ°å®Œå–„å ¶ä¸´åºŠæŽ¨ç†ã€‚æˆ‘ä»¬çš„ç›®æ ‡æ˜¯æž„å»ºåœ¨æ•´ä¸ªç §æŠ¤æ— ç¨‹ä¸­è¿žæŽ¥çŸ¥è¯†ã€æƒ å¢ƒå’Œå†³ç­–çš„ AIâ€”â€”è€Œä¸ä» ä» æ˜¯åœ¨æŸä¸€é¡¹ä¸´åºŠä»»åŠ¡ä¸Šè¡¨çŽ°å‡ºè‰²ã€‚é€šè¿‡ä¸Ž Mayo Clinic 的合作，我们旨在结合前沿 AIã€ä¸´åºŠä¸“ä¸šçŸ¥è¯†å’Œçºµå‘å¤šæ¨¡æ€æ•°æ®ï¼Œæž„å»ºèƒ½å¤Ÿåº”å¯¹çœŸå®žä¸–ç•Œç §æŠ¤å¤æ‚æ€§å’Œå¤šæ ·æ€§çš„ç³»ç»Ÿã€‚

在真实世界中测试

基准测试固然重要，但真正的考验是在真实临床环境中的表现。通过与波士顿的 Beth Israel Deaconess Medical Center å»ºç«‹æ–°çš„åˆä½œå ³ç³»ï¼Œæˆ‘ä»¬å°†åœ¨ä¸åŒåŒ»é™¢çŽ¯å¢ƒä¸­è¯„ä¼°ä¸´åºŠæŽ¨ç†èƒ½åŠ›ã€‚åœ¨ä¸€é¡¹å‰çž»æ€§ç ”ç©¶ä¸­ï¼Œæ‚£è€ å°†ç›´æŽ¥ä¸Žç³»ç»Ÿäº’åŠ¨ï¼Œå ¶è¡¨çŽ°å°†å¯¹ç §åŒ»ç”Ÿçš„ç‹¬ç«‹è¯„ä¼°è¿›è¡Œè¡¡é‡ã€‚ä¸Žä¸´åºŠå›¢é˜Ÿå¹¶è‚©å·¥ä½œå°†æ­ç¤ºè¿™é¡¹æŠ€æœ¯åœ¨å“ªäº›æ–¹é¢å–å¾—æˆåŠŸã€åœ¨å“ªäº›æ–¹é¢å­˜åœ¨ä¸è¶³ï¼Œä»¥åŠå®ƒå¦‚ä½•èžå ¥ç¹å¿™çš„å·¥ä½œæµç¨‹ã€‚

微软的健康事业

医疗 AI çš„å¿«é€Ÿè¿›æ­¥æ­£åœ¨ä¸ºæ‚£è€ å’Œä¸´åºŠåŒ»ç”Ÿå¸¦æ¥æ–°çš„å¯èƒ½æ€§ã€‚ä¸ºäº†å°†è¿™ä¸€è¿›å±•è½¬åŒ–ä¸ºå®žé™ å½±å“ï¼Œæˆ‘ä»¬æ­£æ±‡èšå¾®è½¯å„å¥åº·å›¢é˜Ÿâ€”â€”åŒ æ‹¬ Microsoft Research 的科学家以及 Dragon Copilot 和 PowerScribe 等产品背后的团队——在 Microsoft AI å½¢æˆä¸€ä½“åŒ–åä½œã€‚é€šè¿‡æºæ‰‹åˆä½œï¼Œæˆ‘ä»¬å°†åŠ é€Ÿäº¤ä»˜å€¼å¾—ä¿¡èµ–çš„ AI 系统，推动更好的临床结果和护理体验。

ä¸Žæˆ‘ä»¬å ±åˆ›æœªæ¥

æˆ‘ä»¬æ˜¯ä¸€ä¸ªç²¾å¹²ã€è¡ŒåŠ¨è¿ é€Ÿçš„å®žéªŒå®¤ï¼Œæ±‡èšäº†ä¸–ç•Œä¸Šä¸€äº›æœ€æœ‰æ‰åŽçš„äººæ‰ã€‚æˆ‘ä»¬åœ¨ MAI æ‹¥æœ‰ä¸€ä»½ä»¤äººæŒ¯å¥‹çš„ç®—åŠ›è·¯çº¿å›¾ï¼Œæ­£åœ¨å¿«é€Ÿä¸”å¤§è§„æ¨¡åœ°æ‰©å±•ã€‚æˆ‘ä»¬è¿˜æœ‰ä¸€ä¸ªæˆ‘ä»¬çœŸæ­£ç›¸ä¿¡çš„é›„å¿ƒå‹ƒå‹ƒçš„ä½¿å‘½ã€‚æˆ‘ä»¬ä¹Ÿå¾ˆå¹¸è¿èƒ½ä¸Žå‡ºè‰²çš„äº§å“å›¢é˜Ÿåˆä½œï¼Œè®©æˆ‘ä»¬çš„æ¨¡åž‹æœ‰æœºä¼šè§¦è¾¾æ•°åäº¿ç”¨æˆ·å¹¶åˆ›é€ å·¨å¤§çš„ç§¯æžå½±å“ã€‚å¦‚æžœä½ æ˜¯ä¸€ä½æ‰åŽæ¨ªæº¢ã€é›„å¿ƒå‹ƒå‹ƒä¸”ä¸æ‘†æž¶å­çš„äººï¼Œä½ ä¼šéžå¸¸é€‚åˆè¿™é‡Œâ€”â€”å¿«æ¥åŠ å ¥æˆ‘ä»¬ï¼Œä¸€èµ·æ‰“é€ æˆ‘ä»¬çš„ä¸‹ä¸€ä»£æ¨¡åž‹ï¼

查看所有职位

来源： Microsoft AI：官方博客 · microsoft.ai

Microsoft / Copilot

è®ºæ–‡ç ”ç©¶

#

论文/ç ”ç©¶

OpenAI

Microsoft