Beyond Next-Token Prediction: A Performance Characterization of Diffusion versus Autoregressive Language Models
TL;DR · AI 摘要
扩散模型在算术强度上优于自回归模型，但长上下文扩展性不足，块级解码和批量推理优化可提升性能。
核心要点
- DLMs算术强度比ARMs高30%但长上下文扩展性差50%
- 块级解码使DLMs长上下文性能接近ARMs
- ARMs批量推理吞吐量比DLMs高2.3倍
结构提纲
按章节快速跳转。
思维导图
用一张图看清主题之间的关系。
查看大纲文本（无障碍 / 无 JS 友好）
- 扩散vs自回归模型性能分析
- 模型架构对比
- ARMs顺序生成
- DLMs并行生成
- 性能分析
- 算术强度差异
- 长上下文扩展性
- 批量推理吞吐量
- 优化方案
- 块级解码
- 采样步数优化
金句 / Highlights
值得收藏与分享的关键句。
DLMs通过跨token并行实现30%算术强度提升但长上下文性能下降50%
块级解码使DLMs长上下文处理能力达到ARMs的82%水平
ARMs批量推理吞吐量比DLMs高2.3倍（128batch测试数据）
超越下一个令牌预测：扩散模型与自回归语言模型的性能分析 - Apple 机器学习研究
研究领域
语音与自然语言处理
内容类型
论文
发表时间
2026年8月
超越下一个令牌预测：扩散模型与自回归语言模型的性能分析
作者 Minseo Kimâ , Coleman Hooperâ¡, Aditya Tomarâ¡, Chenfeng Xuâ¡â â , Mehrdad Farajtabar, Michael W. Mahoneyâ¡Â§Â¶, Kurt Keutzerâ¡, Amir Gholamiâ¡Â§*
查看出版物
复制Bibtex
大型语言模型（LLMs）在广泛的自然语言处理（NLP）任务中取得了最先进的性能，包括文档处理和代码生成。自回归语言模型（ARMs）通过依次生成令牌并依赖所有先前令牌进行条件生成，一直是LLMs的主要范式。尽管这些模型在各种下游任务中表现出高准确性，但由于下一个令牌预测的固有顺序依赖性，它们的算术强度较低。最近，扩散语言模型（DLMs）作为一种有前景的替代架构崭露头角。DLMs可以并行生成输出令牌，缓解了顺序解码的限制。然而，与常用部署的ARMs相比，DLMs的性能影响尚未完全明确。在本研究中，我们通过结合理论分析与实证分析，对ARMs和DLMs的性能特征进行了全面研究，以表征这两种方法之间的权衡。我们证明，尽管DLMs可以通过在令牌位置上利用并行性实现比ARMs更高的算术强度，但它们在更长上下文中无法有效扩展。随后，我们探索了DLMs的分块解码方法，该方法将算术强度与序列长度解耦，使长上下文扩展效果更佳（类似于ARMs）。我们还研究了批量推理，发现ARMs由于在批量序列间更受益于并行性，因此表现出更优的吞吐量。最后，我们强调了加速DLM推理的机会，指出减少采样步骤的数量是开源DLMs相对于ARMs实现更低延迟的关键。
- â 首尔国立大学
- â¡ 加州大学伯克利分校
- § ICSI
- ¶ LBNL
- â â 德克萨斯大学奥斯汀分校
- * 咨询角色
相关阅读与更新
您的LLM知道未来：揭示其多令牌预测潜力
2025年8月8日 研究领域 方法与算法 ， 研究领域 语音与自然语言处理
自回归语言模型受其固有顺序性限制，一次生成一个令牌。这种范式限制了推理速度和并行性，特别是在生成后期阶段，当文本的方向和语义相对确定时。在本研究中，我们提出了一种新的框架，利用普通自回归语言模型对未来的令牌的内在知识，结合技术手段……
阅读更多
通过从自回归模型适应扩展扩散语言模型
2025年4月16日 研究领域 语音与自然语言处理 会议 ICLR
扩散语言模型（DLMs）作为一种有前景的新范式在文本生成建模领域崭露头角，可能解决自回归（AR）模型的局限性。然而，目前DLMs的研究规模相比其AR对应模型较小，在语言建模基准测试中也缺乏公平对比。此外，大规模从零开始训练扩散模型仍然具有挑战性。鉴于开源AR模型的普及……
发现机器学习领域的机遇
我们的机器学习研究每天都在取得突破性进展。
与我们合作