Attention to Mamba: A Recipe for Cross-Architecture Distillation
TL;DR · AI 摘要
Attention to Mamba: A Recipe for Cross-Architecture Distillation - Apple Machine Learning Research research area Methods...
核心要点
- 主题聚焦:Attention to Mamba: A Recipe for Cross-Architect
- 来源:Apple Machine Learning Research,建议结合原文判断细节。
- AI 分析暂不可用,本条为保底评分与摘要。
关注Mamba:跨架构知识蒸馏的方案 - 苹果机器学习研究
研究领域
方法与算法
,
语音与自然语言处理
机器学习研究交易(TMLR)
内容类型
论文
发布时间
2026年11月
关注Mamba:跨架构知识蒸馏的方案
作者 Abhinav Moudgilâ , Ningyuan Huangâ¡, Eeshan Gunesh Dhekane, Pau RodrÃguez Lopez, Luca Zappella, Federico Danieli
查看出版物
复制Bibtex
状态空间模型(SSMs)如Mamba已成为Transformer模型的流行替代方案,因其内存消耗减少且在生成过程中的吞吐量更高。另一方面,社区已积累了大量关于如何训练Transformer的知识,许多预训练的Transformer模型也已现成可用。为了促进SSMs的采用并利用现有预训练的Transformer,我们旨在确定一种有效的方案,将基于注意力的模型蒸馏到类似Mamba的架构中。然而,在之前的跨架构蒸馏工作中,已表明从Transformer到Mamba的简单蒸馏过程无法保留原始教师模型的性能,这一限制通常通过结合注意力和SSM模块的混合方案来克服。我们工作的核心观点是,通过为Mamba提供原则性初始化,我们可以恢复一种更优的跨架构蒸馏方案。为此,我们提出了一种原则性的两阶段方法:首先,我们使用核技巧的改编版本,将传统Transformer的知识蒸馏到注意力的线性化版本中。然后,我们将线性化版本蒸馏到一个不使用任何注意力模块的适配Mamba模型中。总体而言,蒸馏后的Mamba模型保留了原始Pythia-1B Transformer模型的大部分性能,达到14.01的困惑度,接近教师模型的13.86。这在下游任务中大部分得以延续,尽管在更依赖上下文回忆的任务上仍存在一些差距。为了展示我们方案的有效性,我们在1B规模上进行了彻底的消融实验,涉及10B个token并调整序列混合器架构,对模型规模和总蒸馏token进行扩展分析,并对各阶段token分配进行敏感性分析。
- â 康考迪亚大学和MILA研究研究所
- â¡ 约翰霍普金斯大学和Flatiron研究所
- ** 在苹果工作期间完成的研究
相关阅读和更新
理解Mamba中的输入选择性
研究领域 方法与算法 , 研究领域 语音与自然语言处理 会议 ICML
2025年7月4日
状态空间模型(SSMs),特别是Mamba,最近作为Transformer的有前途的替代方案崭露头角。Mamba在其SSM层(S6)中引入了输入选择性,并将其卷积和门控机制纳入块定义中。虽然这些改进确实提升了Mamba相对于其SSM前身的性能,但Mamba如何利用输入选择性提供的额外功能,以及这些功能如何影响模型表现,目前仍不清楚……
阅读更多
蒸馏扩展定律
研究领域 方法与算法 , 研究领域 语音与自然语言处理 会议 ICML
2025年7月1日
我们提出了一种蒸馏扩展定律,该定律基于计算预算及其在学生模型和教师模型之间的分配情况,来估算蒸馏模型的性能。我们的研究通过为教师模型和学生模型实现计算最优分配,从而最大化学生模型性能,有效降低了大规模蒸馏带来的风险。我们为两种关键场景提供了计算最优的蒸馏方案:当教师模型已存在时,以及当â¦
发现机器学习领域的机遇
我们每天都在机器学习领域的研究中取得突破性进展。
与我们合作