Microsoft AI 公布 MAI-Base-2 预训练细节，2.8T 参数 MoE 模型 FLOPs 效率达 DeepSeek-V4-Pro-Base 的 4.2 至 12.3 倍

Microsoft AI å ¬å¸ƒ MAI-Base-2 预训练细节，2.8T 参数 MoE 模型 FLOPs 效率达 DeepSeek-V4-Pro-Base 的 4.2 至 12.3 倍 · AIHOT

Microsoft AI：官方博客

·

2026-10-16 00:09

2 小时前

精选

AI 评分

66

Microsoft AI å ¬å¸ƒ MAI-Base-2 预训练细节，2.8T 参数 MoE 模型 FLOPs 效率达 DeepSeek-V4-Pro-Base 的 4.2 至 12.3 倍

Frontier Pre-training at Microsoft AI

AI 导读

Microsoft AI 宣布完成 MAI-Base-2 预训练，这是一个 800 亿激活、2.8T 总参数的 MoE 基础模型，在 held-out 评测中 BPB ä½ŽäºŽæ‰€æµ‹å ¨éƒ¨å¼€æºæƒé‡æ¨¡åž‹ï¼Œé¢„è®­ç»ƒ FLOPs 效率比 DeepSeek-V4-Pro-Base 高 4.2 至 12.3 倍。

推荐理由

官方披露了 MAI-Base-2 çš„å®Œæ•´é¢„è®­ç»ƒæ–¹æ³•ï¼Œè¯»è€ å¯ä»¥ä»Žä¸­äº†è§£ scaling ladder、Muon 优化和多轮 dropless MoE 等可借鉴的工程细节。

另外 1 家也报道了

正文 · AI 翻译

实验室笔记

2026年10月15日

6月，我们发布了 MAI-Thinking-1 ，这是一个通用基础模型，在 MAI-Base-1 ä¹‹ä¸Šè¿›è¡ŒåŽè®­ç»ƒï¼Œå ·å¤‡å¼ºå¤§çš„æŽ¨ç†æ€§èƒ½ã€‚æˆ‘ä»¬æœ€è¿‘å®Œæˆäº†æ–°çš„æœ€å ˆè¿›æ¨¡åž‹ MAI-Base-2 的预训练，这是一个 MoE 基础模型，拥有 800 亿激活参数和 2.8 万亿总参数。

在我们留出的评估中，MAI-Base-2 çš„è¡¨çŽ°ä¼˜äºŽæˆ‘ä»¬æµ‹è¯•è¿‡çš„æ‰€æœ‰å¼€æ”¾æƒé‡æ¨¡åž‹ã€‚å ¶é¢„è®­ç»ƒ FLOPs 效率比最强的开放基础模型 DeepSeek-V4-Pro-Base 高 4-12 倍（见下方图 3），我们将这一节省用于训练更大的模型。

图 1 展示了 MAI-Base-2 ä»¥åŠå ¶ä»–æ€»å‚æ•°è‡³å°‘ä¸€ä¸‡äº¿çš„æ¨¡åž‹åœ¨ä¸€ç³»åˆ—é¢„è®­ç»ƒè¯„ä¼°ä¸­çš„è¡¨çŽ°ï¼ˆè¶Šä½Žè¶Šå¥½ï¼‰ã€‚

端到端拥有自己的模型流水线，使 Microsoft 能够为客户提供独特的服务。Microsoft 对我们模型训练所用的 token æ‹¥æœ‰å¼ºå¤§çš„æ•°æ®æº¯æºèƒ½åŠ›ã€‚æˆ‘ä»¬çš„é¢„è®­ç»ƒå»ºç«‹åœ¨æœ‰æœºæ•°æ®ä¹‹ä¸Šï¼Œä¸æ¶‰åŠä»Žå ¶ä»–æ¨¡åž‹è’¸é¦ã€‚è¿™å°†ä½¿æˆ‘ä»¬èƒ½å¤Ÿé€šè¿‡ Foundry å°†æ¨¡åž‹æƒé‡æŽˆæƒç»™å¯ä¿¡åˆä½œä¼™ä¼´ï¼Œä¸ºä¼ä¸šæä¾›å¯ä¿¡èµ–çš„ä¸–ç•Œçº§æ™ºèƒ½æ¥æºï¼Œæ»¡è¶³å ¶éœ€æ±‚ã€‚

æ‹¥æœ‰å ¨æ ˆèƒ½åŠ›ä½¿æˆ‘ä»¬èƒ½å¤Ÿå°†æ¨¡åž‹å’ŒåŸºç¡€è®¾æ–½ä¸€èµ·è°ƒä¼˜ï¼Œä»¥æœ€ä½Žæˆæœ¬å®žçŽ°æœ€ä½³æ€§èƒ½ï¼Œé¦–å ˆåº”ç”¨äºŽæˆ‘ä»¬è‡ªå·±çš„äº§å“ï¼Œç„¶åŽé¢å‘ Foundry 客户。MAI-Base-2 ç›®å‰æ­£åœ¨è¿›è¡ŒåŽè®­ç»ƒï¼Œæˆ‘ä»¬æœŸå¾ å¾ˆå¿«åˆ†äº«æ›´å¤šç»“æžœã€‚

MAI-Base-2 的对比

当我们完成 MAI-Base-1 的训练时，我们预训练的前进道路很明确：扩大规模。虽然 MAI-Base-1 åœ¨å ¶è§„æ¨¡ä¸‹æ˜¯ä¸€ä¸ªå¼ºå¤§çš„æ¨¡åž‹ï¼Œä½†å®ƒæ¯”å‰æ²¿çš„å¼€æ”¾æƒé‡å’Œä¸“æœ‰æ¨¡åž‹éƒ½è¦å°ã€‚

有三项举措对 MAI-Base-2 的成功预训练尤为重要：

• æ‰©å±•ç§‘å­¦ï¼šè€ƒè™‘é‡å¤è®­ç»ƒæ•°æ®çš„æ‰©å±•é˜¶æ¢¯ï¼Œä»¥åŠç»éªŒæ€§è¶ å‚æ•°æ‰©å±•å®šå¾‹ã€‚

• 模型-基础设施协同设计：改进的 MoE 和 Muon 实现，以及激活梯度裁剪。

• 扩展数据：扩展的数据流水线以及视觉数据的整合。

MAI-Base-2 是比 MAI-Base-1 更大、更稀疏的模型，训练数据也更多。我们在 2026 å¹´ 8 月和 9 月使用 16k GB200 GPU 对 MAI-Base-2 进行了为期 38 天的训练。在整个训练过程中，平均 MFU（模型 FLOPs 利用率）为 21%，goodputï¼ˆè®­ç»ƒæŽ¨è¿›çš„æ—¶é—´å æ¯”ï¼‰ä¸º 89%。我们的 MFU 以 2.5 PFLOPS（GB200 在 BF16 下的理论最大值）为基准进行归一化，并排除了重计算和优化器的 FLOPs。

我们使用每字节比特数（BPBï¼‰åœ¨ç•™å‡ºæ–‡æœ¬ä¸Šæ¯”è¾ƒé¢„è®­ç»ƒæ¨¡åž‹ï¼Œè¯¥æŒ‡æ ‡ä¸Žæ¯ä¸ªæ¨¡åž‹çš„åˆ†è¯å™¨æ— å ³ã€‚å¯¹äºŽç•™å‡ºä»£ç ï¼Œæˆ‘ä»¬ä½¿ç”¨ MAI è‡ªå·±çš„ä»£ç åº“ï¼Œè€Œ STEM、数学和问答评估则委托供应商进行，以降低训练集污染的风险。此外，我们还对所有评估集针对我们的训练数据进行了去污染处理。

我们将 MAI-Base-2 与 2026 年 10 月之前可用的前沿检查点进行了比较：

• DeepSeek-V4-Pro-Base 是开放权重中最强大的基础模型。

• Kimi K3、Qwen3.8-2.4T-A95B 和 MiMo-V2.6-Pro-RL 都是能力很强的开放权重模型。这些模型只有经过后训练的检查点可用。我们报告它们的结果时需说明，后训练可能会影响这些评估。

在这些留出评估中，MAI-Base-2 的 BPB ä½ŽäºŽæˆ‘ä»¬æµ‹è¯•çš„å ¶ä»–æ¨¡åž‹ã€‚ä¸‹é¢ï¼Œæˆ‘ä»¬æ·±å ¥æŽ¢è®¨ä½¿è¿™ä¸€ç»“æžœæˆä¸ºå¯èƒ½çš„å‡ é¡¹è¿›å±•ã€‚

稳健的缩放阶梯

æˆ‘ä»¬ä½¿ç”¨ç¼©æ”¾é˜¶æ¢¯æ¥è¯„ä¼°æ¨¡åž‹æ”¹åŠ¨ï¼Œç¼©æ”¾é˜¶æ¢¯æ˜¯ä¸€ç»„é‡‡ç”¨å›ºå®šè®­ç»ƒé æ–¹ã€è§„æ¨¡ä¸åŒçš„æ¨¡åž‹ã€‚é˜¶æ¢¯çš„æ¯ä¸€çº§ä»¥å ¶å±‚æ•° \( L \) å‘½åï¼Œä» ç”± \( L \) å†³å®šæž¶æž„çš„å ¶ä½™éƒ¨åˆ†ã€‚ä¾‹å¦‚ï¼Œéšè—ç»´åº¦ä¸º \( (256/3) \cdot L \)，查询头数为 \( L \)ï¼Œå¹¶å››èˆäº”å ¥åˆ°æœ€æŽ¥è¿‘çš„ 16 的倍数。我们在保持每个活跃参数的训练 token 数（TPPï¼‰ä¸å˜çš„æƒ å†µä¸‹ï¼Œè®­ç»ƒè§„æ¨¡é€’å¢žçš„æ¨¡åž‹ã€‚

为了在较小规模下考虑多轮训练，我们使用了一种称为 源缩放 çš„æŠ€æœ¯ã€‚åœ¨ç¼©æ”¾é˜¶æ¢¯çš„è¾ƒä½Žå±‚çº§ï¼Œæºç¼©æ”¾äººä¸ºé™åˆ¶æ¨¡åž‹è®­ç»ƒæ‰€ç”¨çš„å”¯ä¸€æ ·æœ¬é›†åˆï¼Œä½¿å¾—æ— è®ºè®­ç»ƒæ—¶é•¿å¦‚ä½•ï¼Œæ¯ä¸ªæ•°æ®é›†éƒ½é‡å¤ç›¸åŒçš„æ¬¡æ•°ã€‚ä¾‹å¦‚ï¼Œå¦‚æžœä¸€ä¸ªæ•°æ®é›†åœ¨å®Œæ•´çš„ 50T token 训练中重复 8 次，那么 5T token çš„è®­ç»ƒå°†ä» å¯¹è¯¥æ•°æ®çš„ 1/10 循环 8 次。

在固定 TPP ä¸‹ï¼Œæºç¼©æ”¾æœ‰æ•ˆåœ°ä¿æŒå”¯ä¸€æ•°æ®ä¸Žå‚æ•°çš„æ¯”ä¾‹ä¸å˜ï¼Œè¿™æœ‰åŠ©äºŽç¡®ä¿ç»“æžœåœ¨ä¸åŒè§„æ¨¡é—´å¹³æ»‘è¿ç§»ã€‚å¦‚æžœæ²¡æœ‰æºç¼©æ”¾ï¼Œè¾ƒå°è§„æ¨¡çš„å®žéªŒå¯èƒ½ä¼šåå‘äºŽæ­£åˆ™åŒ–ä¸è¶³çš„æž¶æž„å’Œè¶ å‚æ•°é€‰æ‹©ï¼Œè€Œè¿™äº›é€‰æ‹©åœ¨è¾ƒå¤§è§„æ¨¡ä¸‹ä¼šè¿‡æ‹Ÿåˆã€‚åœ¨æˆ‘ä»¬çš„é˜¶æ¢¯ä¸­åŠ å ¥æºç¼©æ”¾ï¼Œæ˜¯å¯é åœ°æ‰©å±•åˆ° 2.8T å‚æ•°æ¨¡åž‹çš„å ³é”®ã€‚å›¾ 2 展示了使用缩放阶梯来准确预测 MAI-Base-2 的性能。

将建模效率与计算量分离

æ¨¡åž‹ä¹‹é—´çš„ç›´æŽ¥æ¯”è¾ƒä¼šå°†è®­ç»ƒé æ–¹çš„è´¨é‡ä¸Žæ¨¡åž‹è§„æ¨¡å’Œè®­ç»ƒè®¡ç®—é‡çš„å·®å¼‚æ··ä¸ºä¸€è°ˆã€‚ä¸ºäº†åˆ†ç¦»å‡ºé æ–¹çš„å½±å“ï¼Œæˆ‘ä»¬ä¼°è®¡æˆ‘ä»¬çš„é æ–¹éœ€è¦å¤šå°‘è®¡ç®—é‡æ‰èƒ½åŒ¹é ä¸€ä¸ªå¼ºå¤§çš„å¤–éƒ¨åŸºç¡€æ¨¡åž‹ã€‚æˆ‘ä»¬ä½¿ç”¨ DeepSeek-V4-Pro-Base ä½œä¸ºå‚è€ƒï¼šå®ƒæ˜¯å”¯ä¸€å‘å¸ƒçš„ã€å‚æ•°è¶ è¿‡ä¸€ä¸‡äº¿çš„åŸºç¡€é¢„è®­ç»ƒæ£€æŸ¥ç‚¹ï¼Œä¸è¿‡å ¶è®­ç»ƒæ‰€ç”¨çš„ FLOPs 仍显著少于 MAI-Base-2。

对于图 1 中的四项留出评估，我们分别拟合了 BPB 相对于训练 FLOPs çš„ç‹¬ç«‹ç¼©æ”¾å¾‹ï¼Œå¹¶ä¼°è®¡æˆ‘ä»¬é˜¶æ¢¯ä¸Šçš„æŸä¸ªæ¨¡åž‹éœ€è¦å¤šå°‘è®¡ç®—é‡æ‰èƒ½åŒ¹é  DeepSeek-V4-Pro-Base 的 BPB。MAI-Base-2 çš„æœ€ç»ˆæ€§èƒ½æ˜¯å·²çŸ¥çš„ï¼Œæˆ‘ä»¬å°†å ¶çº³å ¥æ‹Ÿåˆï¼Œå› æ­¤åŒ¹é ç‚¹è½åœ¨æˆ‘ä»¬æ‹Ÿåˆæ¨¡åž‹çš„èŒƒå›´å† ï¼Œè€Œä¸æ˜¯è¶ å‡ºè¯¥èŒƒå›´ã€‚å°†è¿™äº›ä¼°è®¡å€¼ä¸Ž DeepSeek-V4-Pro-Base çš„è®­ç»ƒè®¡ç®—é‡è¿›è¡Œæ¯”è¾ƒï¼Œæˆ‘ä»¬å‘çŽ°æˆ‘ä»¬çš„é æ–¹åœ¨ FLOPs 效率上高出 4.2–12.3 倍，如图 3 所示。我们还与 MAI-Base-1 进行了比较，发现自该模型于今年 6 月发布以来，我们的进展带来了 6.3–12.7 倍的 FLOPs 效率提升。我们将 MAI-Base-2 的 FLOPs æ•ˆçŽ‡å½’å› äºŽæˆ‘ä»¬æ•°æ®çš„è´¨é‡å’Œç›¸å ³æ€§ï¼Œä»¥åŠæˆ‘ä»¬å»ºæ¨¡é€‰æ‹©å¸¦æ¥çš„æ•ˆçŽ‡æå‡ï¼Œè¿™ä¸¤ç‚¹å°†åœ¨ä¸‹æ–‡å„èŠ‚ä¸­æè¿°ã€‚

è¶ å‚æ•°çš„ç¼©æ”¾å¾‹

ä¸ºå¤§è§„æ¨¡è®­ç»ƒè¿è¡Œé€‰æ‹©æœ€ä¼˜è¶ å‚æ•°ä¹‹æ‰€ä»¥å¤æ‚ï¼Œæ˜¯å› ä¸ºè¶ å‚æ•°ä¼˜åŒ–å ·æœ‰ç»„åˆç©ºé—´ï¼šæ”¹å˜ä¸€ä¸ªè¶ å‚æ•°ä¼šå½±å“å ¶ä»–è¶ å‚æ•°çš„æœ€ä¼˜å€¼ã€‚å¯¹äºŽ MAI-Base-2，我们重新审视了解决这一问题的方法。

æˆ‘ä»¬è”åˆæ‰«æå­¦ä¹ çŽ‡ï¼ˆ\(LR\)）和权重衰减（\(WD\)ï¼‰ï¼Œå› ä¸ºå®ƒä»¬å¯¹è®­ç»ƒçš„å½±å“æ˜¯è€¦åˆçš„ã€‚æ¨¡åž‹æ€§èƒ½å¯¹ \(LR\) 与 \(WD\) çš„ä¹˜ç§¯æœ€ä¸ºæ•æ„Ÿï¼Œå› æ­¤å¥½çš„é ç½®ä½äºŽ \((\log{LR}, \log{WD})\) å¹³é¢ä¸Šä¸€æ¡ç‹­çª„çš„å¯¹è§’å¸¦å† ã€‚åœ¨ \((\log{LR}, \log{WD})\) ä¸­åšçŸ©å½¢ç½‘æ ¼é‡‡æ ·ä¼šä½Žæ•ˆåœ°è¦†ç›–è¿™æ¡å¸¦ï¼Œå› æ­¤æˆ‘ä»¬æ”¹ä¸ºåœ¨ \((\log{LR}, \log{(LR \times WD)})\) ä¸­æ‰«æç½‘æ ¼ã€‚

对于模型规模和 TPP çš„è‹¥å¹²ç»„åˆï¼Œæˆ‘ä»¬æ²¿æœç´¢ç½‘æ ¼è®­ç»ƒæ¨¡åž‹ï¼Œå¹¶åœ¨é¢„è®­ç»ƒè¯„ä¼°ä¸Šå¯¹å®ƒä»¬è¿›è¡Œè¯„ä¼°ã€‚æˆ‘ä»¬å¯¹è¯„ä¼°ç»“æžœæ‹ŸåˆäºŒç»´äºŒæ¬¡å‡½æ•°ï¼Œå¹¶æå–è§£æžæœ€å°å€¼ \((LR^*, LR^* \times WD^*)\)。图 4 å±•ç¤ºäº†è¯¥å®žéªŒçš„å‡ ä¸ªåˆ‡ç‰‡ã€‚

随后，我们将 \(\log{(LR^* \times WD^*)}\) 和 \(\log{LR^*}\) 建模为模型规模、TPP 或 log steps ç­‰å ¶ä»–ç‰¹å¾çš„å‡½æ•°ã€‚é€šè¿‡æ¨¡åž‹é€‰æ‹©ï¼Œæˆ‘ä»¬å‘çŽ° \(LR^* \times WD^*\) 主要取决于训练步数，而 \(\log{LR^*}\) 还额外取决于 \(\log{TPP}\)。\(LR^* \times WD^*\) å ³äºŽæ­¥æ•°çš„ç»éªŒæŒ‡æ•°éžå¸¸æŽ¥è¿‘ −1，这与解耦权重衰减时间尺度（\(\dfrac{1}{LR \times WD}\)ï¼‰åº”å è®­ç»ƒå›ºå®šæ¯”ä¾‹çš„è§‚ç‚¹ä¸€è‡´ã€‚LR å ³äºŽæ­¥æ•°çš„ç»éªŒæŒ‡æ•°æŽ¥è¿‘ −0.5ï¼Œè¿™ä¸Žå¹¿æ³›ä½¿ç”¨çš„ç»éªŒæ³•åˆ™ä¸€è‡´ï¼šå½“æ‰¹é‡å¤§å°ç¿»å€æ—¶ï¼Œå­¦ä¹ çŽ‡åº”ä¹˜ä»¥ \(\sqrt{2}\)。我们最终得到的 \(LR^*\) 和 \(WD^*\) 缩放律为：

\[LR^* \times WD^* = 17.04 / \text{steps}\] \[\log{LR^*} = -1.51 + 0.175\log{\text{TPP}} - 0.573\log{\text{steps}}\]

使用类似方法，我们还推导出以下 dropout 缩放律：

\[\small \mathrm{Dropout}=\operatorname{sigmoid}\big(0.526\,(\log \mathrm{ActiveParams}-27.2)\big)\]

æˆ‘ä»¬åœ¨å°è§„æ¨¡å®žéªŒä¸­ä¼°è®¡äº†æ–°çš„ç¼©æ”¾å¾‹ï¼Œç„¶åŽåœ¨ä¸­ç­‰è§„æ¨¡ä¸ŠéªŒè¯äº†å®ƒä»¬ï¼Œå®ƒä»¬å§‹ç»ˆä¼˜äºŽå ˆå‰çš„å¯å‘å¼æ–¹æ³•ã€‚è¿™äº›è§„å¾‹å®šä¹‰äº† MAI-Base-2 çš„è¶ å‚æ•°ã€‚

协同设计我们的基础设施与 MAI-Base-2

åœ¨è®¡ç®—é¢„ç®—å† è®­ç»ƒå‰æ²¿æ¨¡åž‹ï¼Œéœ€è¦é’ˆå¯¹è¯„ä¼°è´¨é‡å’Œè®¡ç®—æ•ˆçŽ‡ååŒè®¾è®¡æ¨¡åž‹ä¸ŽåŸºç¡€è®¾æ–½ã€‚æˆ‘ä»¬ä½¿ç”¨æ•ˆçŽ‡å¢žç›Šï¼ˆEGï¼‰æŒ‡æ ‡æ¥å¸®åŠ©æŒ‡å¯¼å†³ç­–ï¼šå€™é€‰æ–¹æ¡ˆè¾¾åˆ°ä¸ŽåŸºçº¿ç›¸åŒè¯„ä¼°æŸå¤±æ‰€éœ€è®¡ç®—é‡çš„æ¯”å€¼ã€‚è®¡ç®—é‡å¯ä»¥ç”¨ FLOPs（EG FLOPs ）或墙钟时间（EG time ï¼‰è¡¡é‡ï¼Œä¸¤è€ äº’è¡¥ã€‚æˆ‘ä»¬ä¸»è¦ä¾èµ– EG time ï¼Œå› ä¸ºå®ƒåæ˜ äº†æˆ‘ä»¬åŸºç¡€è®¾æ–½çš„å½“å‰çŠ¶æ€ã€‚è€Œ EG FLOPs 则衡量原型的潜力，并指导未来的基础设施开发：一项在 FLOPs ä¸Šèƒœå‡ºä½†åœ¨å¢™é’Ÿæ—¶é—´ä¸Šè½è´¥çš„æ”¹åŠ¨ï¼Œä¼šå‘Šè¯‰æˆ‘ä»¬è¯¥åœ¨å“ªé‡ŒæŠ•å ¥ã€‚è¿™ç§å»ºæ¨¡ä¸ŽåŸºç¡€è®¾æ–½çš„è”åˆä¼˜åŒ–ä½“çŽ°åœ¨ä»¥ä¸‹è‹¥å¹²è®¾è®¡é€‰æ‹©ä¸­ã€‚

扩展 MoE

我们过去的建模实验表明，在每一层都使用 MoE ç›¸æ¯”äº¤æ›¿ä½¿ç”¨ç¨ å¯† FFN 和 MoE 层，在 EG FLOPs æ–¹é¢å ·æœ‰ä¸€è‡´ä¼˜åŠ¿ã€‚ç„¶è€Œï¼Œæˆ‘ä»¬ MoE 实现中的低效问题使得每隔一层使用 MoE 成为 MAI-Base-1 在 EG time 方面的最优选择。对于 MAI-Base-2，我们发现了两个导致 MoE MFU 次优的低效问题：

• åŠ¨æ€è·¯ç”±å¢žåŠ äº†å† å­˜ç¢Žç‰‡åŒ–ï¼Œå¹¶ä¸ºç½•è§çš„æžç«¯ä¸“å®¶è´Ÿè½½ä¸å‡è¡¡å ç”¨äº†æ›´å¤šå† å­˜ï¼Œè€Œè¿™äº›å† å­˜æœ¬å¯ç”¨äºŽå‡å°‘æ¿€æ´»é‡è®¡ç®—ã€‚

• å¢žåŠ æ›´å¤šã€æ›´ç»†ç²’åº¦çš„ä¸“å®¶å¢žåŠ äº†æ¯ä¸ªä¸“å®¶çš„å¼€é”€ã€‚

解决这些低效问题 将我们 MoE 层的 MFU 从 24% 提升到 35%，这使我们能够在 MAI-Base-2 的每一层都采用 MoE。

å ·æœ‰å¯è°ƒã€å›ºå®šå¤§å°å† å­˜ä½¿ç”¨çš„æ— ä¸¢å¼ƒ MoE

在 MoE 层中，每个专家看到的 token 数量是可变的。这带来了 GPU å† å­˜æŒ‘æˆ˜ï¼Œå› ä¸ºè¿‡è½½çš„ä¸“å®¶å¯èƒ½ä¼šè€—å°½å† å­˜ã€‚ä¸€ç§è§£å†³æ–¹æ¡ˆæ˜¯ä¸ºæ¯ä¸ªä¸“å®¶è®¾ç½®å›ºå®šé˜ˆå€¼ï¼Œè¶ è¿‡è¯¥é˜ˆå€¼åŽé¢å¤–çš„ token 会被丢弃。我们的实验发现，丢弃 token ä¼šå¯¼è‡´æ€§èƒ½å˜å·®ã€‚ä¸€ç§æœ´ç´ çš„è§£å†³æ–¹æ¡ˆæ˜¯ç®€å•åœ°æŒ‰æœ€å¤§ä¸å‡è¡¡æƒ å†µä¸ºæ¯ä¸ªä¸“å®¶åˆ†é è¶³å¤Ÿå† å­˜ï¼Œä½†è¿™ä¼šåœ¨æ­£å¸¸è´Ÿè½½ä¸‹å¯¼è‡´å† å­˜ä½¿ç”¨æ•ˆçŽ‡ä½Žä¸‹ã€‚æˆ‘ä»¬çš„å¤šè½®æ— ä¸¢å¼ƒ MoE，如图 6 æ‰€ç¤ºï¼Œåœ¨ä»»æ„è·¯ç”±ä¸å‡è¡¡ä¸‹å®žçŽ°å›ºå®šå† å­˜ä½¿ç”¨ï¼Œæ¶ˆé™¤äº†ç¢Žç‰‡åŒ–å’Œå† å­˜ä¸è¶³å´©æºƒã€‚

我们将每个专家并行 rank ä¸Šçš„ä¸“å®¶åˆ†ç»„ä¸ºä¸€ä¸ªæˆ–å¤šä¸ªå¯é ç½®å¤§å°çš„ç»„ã€‚æ¯ä¸ªä¸“å®¶ç»„è¿è¡Œä¸€è½®æˆ–å¤šè½® dispatch → compute → collect ï¼Œå¹¶å ·æœ‰å›ºå®šçš„æ¯ä¸“å®¶ token 容量。如果某个专家收到的 token è¶ è¿‡å ¶å¯å®¹çº³æ•°é‡ï¼Œä¸“å®¶ç»„ä¼šåœ¨é¢å¤–çš„è½®æ¬¡ä¸­å¤„ç†è¿™äº›æº¢å‡º tokenã€‚ä¸ºå‡å°‘é¢å¤–è½®æ¬¡æ•°é‡ï¼Œæˆ‘ä»¬å è®¸è¿‡è½½ä¸“å®¶ä½¿ç”¨åŒä¸€ç»„ä¸­å ¶ä»–ä¸“å®¶æœªä½¿ç”¨çš„ token å®¹é‡ã€‚åœ¨åå‘ä¼ æ’­ä¸­ï¼Œæˆ‘ä»¬éšåŽæŒ‰ç §ç±»ä¼¼çš„å¤šè½®è°ƒåº¦å¯¹æ¯ä¸ªä¸“å®¶ç»„è¿›è¡Œç»†ç²’åº¦é‡è®¡ç®—ã€‚è¿™æ ·æ— è®º token æ˜¯å¦ä¸å‡è¡¡ï¼Œå† å­˜ä½¿ç”¨éƒ½ä¿æŒé™æ€ã€‚Token å®¹é‡æ˜¯å¯é ç½®çš„ï¼šå®¹é‡è¶Šå¤§æ„å‘³ç€å† å­˜è¶Šå¤šï¼Œå®¹é‡è¶Šå°åˆ™å¯èƒ½æ„å‘³ç€æ›´å¤šè½®æ¬¡ï¼Œä»Žè€Œå¸¦æ¥é¢å¤–è®¡ç®—ã€‚åœ¨å®žè·µä¸­ï¼Œå®¹é‡è¢«é ç½®ä¸ºåœ¨ç¨³æ€ä¸‹ä¿æŒå•è½®ã€‚

Dispatch 、 compute 和 collect åœ¨æ‰€æœ‰ä¸“å®¶ç»„çš„å ¨éƒ¨è½®æ¬¡ä¸­æµæ°´çº¿åŒ–ï¼Œå› æ­¤é™¤ç¬¬ä¸€ä¸ª dispatch 和最后一个 collect å¤–ï¼Œå ¶ä½™éƒ½ä¸Žä¸“å®¶è®¡ç®—é‡å ã€‚åœ¨å‰å‘ä¼ æ’­ä¸­ï¼Œæƒé‡é‡åŒ–å’Œå ±äº«ä¸“å®¶è®¡ç®—ä¸Žæš´éœ²çš„é€šä¿¡é‡å ã€‚åœ¨åå‘ä¼ æ’­ä¸­ï¼Œæ‰€æœ‰ä¸“å®¶é€šä¿¡å®Œå ¨é‡å ï¼šæš´éœ²çš„è¾“å ¥ dispatch ä¸ŽåŒä¸€å±‚çš„é‡è®¡ç®—é‡å ï¼Œæš´éœ²çš„æ¢¯åº¦ collect ä¸Žæƒé‡æ¢¯åº¦è®¡ç®—é‡å ã€‚

减少每专家开销

æˆ‘ä»¬é€šè¿‡å››ç§æ–¹å¼å‡å°‘æ¯ä¸ªä¸“å®¶çš„å¼€é”€ã€‚é¦–å ˆï¼Œæˆ‘ä»¬é€šè¿‡å¯¹æ¯ä¸ªä¸“å®¶ç»„åŒæ—¶åˆ†ç»„è®¡ç®—å’Œé€šä¿¡ï¼Œæå‡ GEMM 和 NVLink æ•ˆçŽ‡ã€‚è¿™å‡å°‘äº†å† æ ¸å¯åŠ¨å¼€é”€å’Œé•¿å°¾æ•ˆåº”ã€‚å ¶æ¬¡ï¼Œæˆ‘ä»¬é€šè¿‡ä½¿ç”¨é©»ç•™åœ¨è®¾å¤‡ä¸Šçš„ token å ƒæ•°æ®å¹¶ç›´æŽ¥ä»Ž GPU 发起 all-to-all 通信，减少主机-è®¾å¤‡åŒæ­¥ã€‚ç¬¬ä¸‰ï¼Œæˆ‘ä»¬è¿›ä¸€æ­¥åˆ©ç”¨å¯¹ç§°å† å­˜ä¼˜åŒ– all-to-all，直接在 NVLink 上交换 tokenï¼Œæ— éœ€æš‚å­˜æ‹·è´ï¼Œä»Žè€Œæå‡é€šä¿¡åžåé‡ï¼Œå¹¶åœ¨å¹¶å‘è¿è¡Œ GEMM 时减少 HBM 争用。最后，我们跨层批量处理负载均衡损失，用一次跨所有层的批量归约替代逐层的 all-reduce。这些优化使我们能够训练更稀疏的模型，而不会显著降低 MFU。

扩展 Muon

在扩展到 MAI-Base-2 时，我们发现 Muon 相比 AdamW å¸¦æ¥äº†æ›´ç¨³å®šçš„è®­ç»ƒåŠ¨æ€å’Œå¤§å¹ æ•ˆçŽ‡æå‡ã€‚å°† Muon ç”¨äºŽæˆ‘ä»¬æœ€å¤§çš„æ¨¡åž‹ï¼Œéœ€è¦é™ä½Žå ¶æ¯æ­¥å¼€é”€ã€‚

Muon 使用 Newton–Schulz 对每个权重矩阵的动量进行正交化，这是一种由若干矩阵乘法组成的迭代算法。这需要完整矩阵，与 ZeRO åœ¨æ•°æ®å¹¶è¡Œç»´åº¦ä¸Šå¯¹åŠ¨é‡è¿›è¡Œåˆ†ç‰‡ç›¸å†²çªã€‚éµå¾ªå ˆå‰å·¥ä½œï¼Œæˆ‘ä»¬åœ¨ä¼˜åŒ–å™¨æ­¥éª¤ä¸­é‡æ–°åˆ†ç‰‡åŠ¨é‡ã€‚æ¯ä¸ª GPU æ›´æ–°å ¶æœ¬åœ° FP32 åŠ¨é‡åˆ†ç‰‡å¹¶å°†å ¶è½¬æ¢ä¸º BF16。随后，对相同形状的参数进行批量 all-to-all 交换，使每个 GPU 拥有完整动量矩阵的一个子集。每个 GPU 使用对称感知的 Newton–Schulz å† æ ¸åœ¨æœ¬åœ°å¯¹å ¶å®Œæ•´åŠ¨é‡çŸ©é˜µè¿›è¡Œæ­£äº¤åŒ–ã€‚ 第二次 all-to-all å°†æ›´æ–°è¿”å›žåˆ°å ¶åŽŸå§‹åˆ†ç‰‡ï¼Œåœ¨é‚£é‡Œå®ƒä»¬è¢«è½¬æ¢å›ž FP32 并应用于权重。

我们进一步应用了若干有利于我们在 16K GPU 上训练效率的优化：

• æˆ‘ä»¬é€šè¿‡é¢„å–å¤šä¸ªæ‰¹æ¬¡æ¥é‡å é€šä¿¡å’Œè®¡ç®—ã€‚

• æˆ‘ä»¬ç¼“å­˜å¹¶å¤ç”¨é‡æ–°åˆ†ç‰‡å ƒæ•°æ®ï¼Œä»¥é¿å é‡å¤çš„ç´¢å¼•é€»è¾‘ã€‚è¿™åœ¨æ‹¥æœ‰æ•°åƒä¸ªç›¸åŒå½¢çŠ¶å‚æ•°çš„ç¨€ç– MoE æ¨¡åž‹ä¸­å°¤å ¶æœ‰ç”¨ã€‚

• 选定的权重，例如 MoE 路由器权重，跨 GPU 复制而非分片。跳过第一个通信阶段，取而代之的是在 Newton-Schulz 之后发起 all-gather 集合通信，以获得完整的复制更新集。

经过优化后，Muon å MAI-Base-2 平均训练迭代时间的 2.1%（165 msï¼‰ã€‚æˆ‘ä»¬è·Ÿè¸ªå®žçŽ°è´¨é‡ï¼Œå¹¶åŸºäºŽæ€§èƒ½åˆ†æžç¡®å®šå˜æ›´ä¼˜å ˆçº§ï¼ŒåŒæ—¶ä½¿ç”¨å¤§è§„æ¨¡å’Œå°è§„æ¨¡æµ‹è¯•è®¾ç½®ã€‚æˆ‘ä»¬å°†æµ‹è¯•ä¸­çš„æµ‹é‡å€¼ä¸Žç†è®ºå³°å€¼æ€§èƒ½è¿›è¡Œæ¯”è¾ƒï¼Œæˆ‘ä»¬ä¼°è®¡ MAI-Base-2 最终训练设置的理论峰值为 55 msï¼Œä¸”å—é€šä¿¡ç“¶é¢ˆé™åˆ¶ã€‚æˆ‘ä»¬å°†ç†è®ºæ€§èƒ½ä¸Žå®žæµ‹æ€§èƒ½ä¹‹é—´çš„å·®è·å½’å› äºŽæŽ‰é˜Ÿè€ ã€å† æ ¸è°ƒåº¦å¼€é”€ã€è´Ÿè½½ä¸å‡è¡¡ä»¥åŠé‡æ–°åˆ†ç‰‡æœŸé—´çš„å† å­˜æ‹·è´/åˆ†é ã€‚

激活梯度裁剪

æ¢¯åº¦è£å‰ªæ˜¯ä¸€ç§é€šè¿‡é™ä½Žç¦»ç¾¤æ¢¯åº¦å½±å“æ¥ç¨³å®šè®­ç»ƒçš„å¸¸ç”¨æ–¹æ³•ã€‚æ ‡å‡†æ¢¯åº¦è£å‰ªä½œç”¨äºŽæ•´ä¸ªæ‰¹æ¬¡æƒé‡æ¢¯åº¦çš„å ¨å±€èŒƒæ•°ã€‚ç„¶è€Œï¼Œç¦»ç¾¤æ¢¯åº¦é€šå¸¸ç”±æ‰¹æ¬¡ä¸­ä¸€å°éƒ¨åˆ†æ•°æ®é©±åŠ¨ã€‚å› æ­¤ï¼Œä¸€ä¸ªç¦»ç¾¤æ ·æœ¬å¯èƒ½å¯¼è‡´æ•´ä¸ªæ‰¹æ¬¡çš„æ¢¯åº¦è¢«ç¼©å°ï¼ŒåŒ æ‹¬é‚£äº›è¡¨çŽ°è‰¯å¥½çš„æ ·æœ¬çš„è´¡çŒ®ã€‚ä½œä¸ºä¸€ç§æ›´æœ‰é’ˆå¯¹æ€§çš„ç¼“è§£æŽªæ–½ï¼Œæˆ‘ä»¬åœ¨ç½‘ç»œä¸­çš„é€‰å®šä½ç½®å¯¹æ¿€æ´»å€¼æ¢¯åº¦è¿›è¡Œè£å‰ªã€‚ç»“åˆ Muon，这使 MAI-Base-2 的梯度范数保持在比 MAI-Base-1 æ›´ç´§çš„èŒƒå›´å† ï¼ˆå›¾ 7）。

激活梯度裁剪还 使 优化 æ›´åŠ ç¨³å®š ，并且如图 8 æ‰€ç¤ºï¼Œå ¶æ”¶ç›Šéšè§„æ¨¡å¢žé•¿è€Œå¢žå¤§ 。相比之下，我们测试的大多数改动在不同 规模下带来的效率提升大致恒定。

æˆ‘ä»¬è¿˜å°†æ¿€æ´»æ¢¯åº¦è£å‰ªç”¨ä½œéªŒè¯è®­ç»ƒæ•°æ®çš„è¯Šæ–­å·¥å ·ã€‚å›¾ 9 展示了 一个 由激活梯度裁剪识别出的 畸形训练 æ ·æœ¬ ã€‚åœ¨æ¥è‡ªæˆ‘ä»¬ä»£ç æ•°æ®çš„ 一个 pull request 中，许可证头在 句子中间被 突然截断 。追溯 è¿™ä¸ªè¢«è£å‰ªçš„æ ·æœ¬ 发现我们的预处理 流水线中存在一个 bug，该问题 此后 å·² 被修复。

扩展数据

MAI-Base-2 遵循与 MAI-Base-1 ç›¸åŒçš„æ•°æ®åŽŸåˆ™ï¼šæˆ‘ä»¬é€šå¾€å‰æ²¿æ€§èƒ½çš„è·¯å¾„å»ºç«‹åœ¨åŽŸç”Ÿæ•°æ®ä¹‹ä¸Šï¼Œè€Œéžä»Žå ¶ä»–æ¨¡åž‹è’¸é¦ã€‚å¯¹è‡ªæœ‰æ•°æ®æµæ°´çº¿çš„æŠ•å ¥æŒç»­å¸¦æ¥å›žæŠ¥ï¼Œæˆ‘ä»¬æ‰€æœ‰è®­ç»ƒ token å‡åœ¨å† éƒ¨å¤„ç†ã€‚ä»¥å”¯ä¸€è®­ç»ƒ token 衡量，我们的语料库从 MAI-Base-1 到 MAI-Base-2 增长了约 36%（见图 10）。

自 MAI-Thinking-1 以来，我们改进了质量分类、主题分箱、网页解析、去重和评估去污染。对于 MAI-Base-2ï¼Œæˆ‘ä»¬æ‰©å±•äº†æµæ°´çº¿ä»¥å¤„ç†å¤§å¹ æ›´å¤šçš„ç½‘é¡µå† å®¹ 1 ，知识截止日期为 2026 å¹´ 3 æœˆã€‚æˆ‘ä»¬è¿˜ä½¿ç”¨åŸºäºŽåµŒå ¥çš„å¤šæ ·æ€§é‡‡æ ·æ¥ä¼˜å ˆé€‰å–æ–°é¢–æ•°æ®å¹¶å‡å°‘é‡å¤å† å®¹ã€‚æˆ‘ä»¬çš„å®žéªŒè¡¨æ˜Žï¼Œè¿™äº›æ–¹æ³•æ˜¾è‘—æå‡äº†æ¨¡åž‹æ€§èƒ½ã€‚

与 MAI-Base-1 不同，MAI-Base-2 ä½¿ç”¨æ— ç¼–ç å™¨çš„ VLM æž¶æž„åŽŸç”Ÿè¿›è¡Œè§†è§‰é¢„è®­ç»ƒã€‚å› æ­¤ï¼Œæˆ‘ä»¬å¤§åŠ›æŠ•å ¥æ‰©å VLM è¯­æ–™åº“ï¼Œæ¶µç›–å›¾æ–‡å¯¹ä»¥åŠæ–‡æœ¬ä¸Žå›¾åƒäº¤é”™çš„æ–‡æ¡£ã€‚è¯¥è¯­æ–™åº“æ¶µç›–çš„ä»»åŠ¡åŒ æ‹¬ä»Žç½‘é¡µè¿›è¡Œå›¾åƒæè¿°ã€å›¾è¡¨ç†è§£ã€è§†è§‰å®šä½ã€ç©ºé—´æŽ¨ç†ã€åŒ»å­¦ç†è§£ã€è®¡ç®—æœºä½¿ç”¨ã€ä¹è°±é˜ è¯»ï¼Œä»¥åŠæˆ‘ä»¬é¢„è®¡ç”¨æˆ·ä¼šè§‰å¾—æœ‰ç”¨çš„å ¶ä»–é¢†åŸŸã€‚æˆ‘ä»¬çš„ VLM è¯­æ–™åº“åŒ å« 4.5T 唯一 tokenï¼Œè®¡å ¥é‡å¤åŽï¼ŒVLM æ•°æ®å 50T token 训练混合的 18%。

下一步

MAI-Base-2 æ˜¯æˆ‘ä»¬ä¸‹ä¸€ä»£æ¨¡åž‹çš„åŸºç¡€ï¼Œæˆ‘ä»¬å¾ˆé«˜å ´å¾ˆå¿«åˆ†äº«æ›´å¤šç›¸å ³ä¿¡æ¯ã€‚åœ¨ MAI-Base-2 进行后训练的同时，MAI-Base-3 的准备工作已经在进行中。我们所有的模型都遵循自 MAI-Base-1 以来一直指导我们的相同原则：

• æ™ºèƒ½åº”å½“ä»Žç¬¬ä¸€æ€§åŽŸç†ä¸­å­¦ä¹ ã€‚

• 简单的方法扩展效果最好。

• 科学严谨胜过走捷径。

我们坚信这些原则将引领我们持续扩展，迈向最前沿。训练前沿 AI éœ€è¦å»ºæ¨¡ã€æ•°æ®å’ŒåŸºç¡€è®¾æ–½é¢†åŸŸçš„ç ”ç©¶äººå‘˜å’Œå·¥ç¨‹å¸ˆä½œä¸ºä¸€ä¸ªå›¢é˜ŸååŒå·¥ä½œã€‚å¦‚æžœè¿™å¸å¼•ä½ ï¼Œ 我们正在招聘 ！

1 对于网络数据，我们使用专有爬虫，遵守 Robots Exclusion Protocol（robots.txtï¼‰ä»¥åŠç›¸å ³çš„ meta æ ‡ç­¾å’Œ HTML æŽ§åˆ¶ï¼Œä½¿ç½‘ç«™æ‰€æœ‰è€ èƒ½å¤Ÿç®¡ç†å ¶ç½‘ç«™å† å®¹çš„è®¿é—®å’Œä½¿ç”¨æ–¹å¼ã€‚æˆ‘ä»¬è¿˜æŽ’é™¤è¿å Microsoft Responsible AI æ”¿ç­–æˆ–å‡ºçŽ°åœ¨ç¾Žå›½è´¸æ˜“ä»£è¡¨åŠžå ¬å®¤ï¼ˆUSTR）恶名市场名单上的来源。

ä¸Žæˆ‘ä»¬å ±å»ºæœªæ¥

æˆ‘ä»¬æ˜¯ä¸€ä¸ªç²¾å¹²ã€è¡ŒåŠ¨è¿ é€Ÿçš„å®žéªŒå®¤ï¼Œç”±ä¸–ç•Œä¸Šæœ€æ°å‡ºçš„ä¸€äº›äººæ‰ç»„æˆã€‚æˆ‘ä»¬åœ¨ MAI æœ‰ä¸€æ¡ä»¤äººå ´å¥‹çš„ç®—åŠ›è·¯çº¿å›¾ï¼Œæ­£åœ¨å¿«é€Ÿä¸”å¤§è§„æ¨¡åœ°æ‰©å±•ã€‚æˆ‘ä»¬è¿˜æœ‰ä¸€ä¸ªæˆ‘ä»¬çœŸæ­£ç›¸ä¿¡çš„é›„å¿ƒå‹ƒå‹ƒçš„ä½¿å‘½ã€‚æˆ‘ä»¬ä¹Ÿå¾ˆå¹¸è¿èƒ½ä¸Žå‡ºè‰²çš„äº§å“å›¢é˜Ÿåˆä½œï¼Œè®©æˆ‘ä»¬çš„æ¨¡åž‹æœ‰æœºä¼šè§¦è¾¾æ•°åäº¿ç”¨æˆ·å¹¶åˆ›é€ å·¨å¤§çš„ç§¯æžå½±å“ã€‚å¦‚æžœä½ æ˜¯ä¸€ä½æ‰åŽæ¨ªæº¢ã€é›„å¿ƒå‹ƒå‹ƒä¸”ä¸æ‘†æž¶å­çš„äººï¼Œä½ ä¼šéžå¸¸é€‚åˆè¿™é‡Œâ€”â€”æ¥åŠ å ¥æˆ‘ä»¬ï¼Œä¸€èµ·å¼€å‘æˆ‘ä»¬çš„ä¸‹ä¸€ä»£æ¨¡åž‹å§ï¼

浏览所有职位

来源： Microsoft AI：官方博客 · microsoft.ai

Microsoft / Copilot

多模态

数据与训练

模型发布

#

数据/训练

Microsoft