Apple Machine Learning Research

The Design Space of Tri-Modal Masked Diffusion Models

8.5内容质量

TL;DR · AI 摘要

Apple提出三模态掩码扩散模型，实现多模态生成与优化，提供大规模实验结果。

核心要点

  • 三模态MDM在3B参数规模下实现6.4T tokens训练，文本/图像/音频生成均表现优异
  • 提出基于SDE的批量大小重参数化方法，消除手动调优需求
  • 系统分析多模态扩展定律与噪声调度策略，提供可复用的训练范式

结构提纲

按章节快速跳转。

  1. §引言

    提出三模态扩散模型解决多模态生成的挑战，突破传统双模态限制。

  2. ·方法创新

    设计首个从文本/图像-文本/音频-文本数据预训练的三模态MDM架构。

  3. ›关键技术

    基于SDE的批量大小重参数化方法解耦物理批量与逻辑批量优化。

  4. ·实验分析

    系统验证多模态扩展定律、噪声调度与批量大小对模型性能的影响。

  5. ›结果展示

    3B参数模型在文本生成、图文生成、文生音频任务中均取得SOTA结果。

  6. §结论

    提供当前最大规模的多模态离散扩散模型系统研究，推动模态统一建模。

思维导图

用一张图看清主题之间的关系。

查看大纲文本（无障碍 / 无 JS 友好）
  • Tri-Modal MDM设计空间
    • 方法创新
      • SDE批量重参数化
      • 三模态预训练
    • 实验分析
      • 多模态扩展定律
      • 噪声调度优化
    • 核心成果
      • 3B参数模型
      • 跨模态生成

金句 / Highlights

值得收藏与分享的关键句。

  • Our batch-size analysis yields a novel stochastic differential equation (SDE) based reparameterization, eliminating the need for tuning the optimal batch size

    — 第3段

    ⬇︎ 下载 PNG𝕏 分享到 X
  • achieving strong results at 3B model scale (6.4T tokens), in both text generation, T2I tasks, and T2S tasks

    — 第4段

    ⬇︎ 下载 PNG𝕏 分享到 X
  • This reparameterization decouples the physical batch size... from the logical batch size

    — 第3段

    ⬇︎ 下载 PNG𝕏 分享到 X
#Diffusion Models#Multimodal AI#NeurIPS#Apple Research
打开原文

三模态掩码扩散模型设计空间 - 苹果机器学习研究

研究领域

方法与算法

会议

NeurIPS

内容类型

论文

发布日期

2026年10月

三模态掩码扩散模型设计空间

作者 Louis Béthune, Victor Turrisi, Bruno Kacper Mlodozeniec†, Pau Rodriguez Lopez, Lokesh Boominathan, Nikhil Bhendawade, Amitis Shidani, Joris Pelemans, Theo X. Olausson‡, Devon Hjelm, Paul Dixon, João Monteiro, Pierre Ablin, Vishnu Banna, Arno Blaas, Nick Henderson, Kari Noriy, Dan Busbridge, Josh Susskind, Marco Cuturi, Irina Belousova, Luca Zappella, Russ Webb, Jason Ramapuram§**

查看出版物

复制Bibtex

离散扩散模型已成为自回归语言模型的有力替代方案，近期工作通过初始化和微调基础单模态模型实现了双模态生成。与以往方法不同，我们首次引入了基于文本、图文和音文数据从零开始预训练的三模态掩码扩散模型（MDM）。我们系统分析了多模态扩展规律、模态混合比例、噪声调度、批量大小影响，并提供优化的推理采样默认值。我们的批量大小分析得出了一种新颖的基于随机微分方程（SDE）的重参数化方法，消除了近期工作中报道的需要调整最佳批量大小的需求。这种重参数化方法将物理批量大小（通常基于计算资源选择，如GPU饱和度、FLOP效率、墙钟时间）与逻辑批量大小（用于在随机优化中平衡梯度方差的选择）解耦。最后，我们预训练了一个初步模型，展示了统一设计的潜力，在30亿参数规模（6.4万亿token）上实现了文本生成、图文生成（T2I）和文音生成（T2S）任务的优异结果。我们的工作是迄今为止对多模态离散扩散模型进行的规模最大、最系统的开放研究，为跨多种模态的扩展行为提供了有价值的见解。

  • †剑桥大学
  • ‡ 麻省理工学院
  • § 谷歌DeepMind
  • ** 作者在苹果公司期间完成的工作

相关阅读与更新

目标具体分数匹配：离散扩散的综合框架

2025年7月11日 研究领域 方法与算法 ，研究领域 语音与自然语言处理 会议 ICML

离散扩散是建模和生成离散数据的有前景的框架。在本工作中，我们提出了目标具体分数匹配（TCSM），一种新颖且通用的目标函数，用于训练和微调离散扩散模型。TCSM提供了一个具有广泛应用前景的通用框架。它支持直接从数据样本预训练离散扩散模型，许多现有的离散扩散方法自然地作为其特例出现……

阅读更多

如何扩展你的EMA

2023年12月4日 研究领域 方法与算法 会议 NeurIPS

*同等贡献者

在实践中，跨批量大小保持训练动态是一个重要的工具，因为它使批量大小与墙钟时间之间的权衡成为可能。这种权衡通常通过缩放规则实现；例如，在随机梯度下降中，应该将学习率与批量大小线性缩放。另一个重要的机器学习工具是模型EMA，它是目标模型的功能副本……

发现机器学习领域的机遇

我们每天都在机器学习研究中取得突破性进展。

与我们合作