Apple Machine Learning Research

Compressing Streaming Neural Audio Encoders via Latent-Space Distillation

6.7内容质量

TL;DR · AI 摘要

Compressing Streaming Neural Audio Encoders via Latent-Space Distillation - Apple Machine Learning Research research are...

核心要点

  • 主题聚焦：Compressing Streaming Neural Audio Encoders via
  • 来源：Apple Machine Learning Research，建议结合原文判断细节。
  • AI 分析暂不可用，本条为保底评分与摘要。
#AI#编程#安全
打开原文

通过潜在空间蒸馏压缩流式神经音频编码器 - Apple 机器学习研究

研究领域

方法与算法

,

语音与自然语言处理

内容类型

论文

发布日期

2026年9月

通过潜在空间蒸馏压缩流式神经音频编码器

作者 Prasanth Yadla‡, Mohammad Samragh Razlighi‡, Dongseong Hwang, Mingbin Xu, Yuanyuan Zhang, Chung-Cheng Chiu, Yongqiang Wang†, Yuan Liu§, Zhen Huang, Xiaodan Zhuang

查看出版物

复制Bibtex

Apple设备上的系统级语音输入完全在设备上运行，其转录的语音通过一个分词器传递给基础模型：该分词器是一个编码器，将波形的短窗口映射到语言模型可读的表示形式。由于该模型在遵循指令的剪枝下稀疏激活，任何时刻只有少量专家占用DRAM，因此始终开启的分词器与之竞争相同内存，其参数数量直接影响功耗和延迟。在本研究中，我们探讨如何通过蒸馏压缩此类分词器，其监督目标既不是离散的token也不是输出分布，而是模型实际消耗的预量化器潜在表示——两个token接口共享的最后一个表示。我们仅训练学生编码器在平方误差目标下回归教师的每帧潜在表示，通过一个仿射层吸收教师-学生宽度不匹配。由于目标位于量化器和语言模型桥接器之前，一个方案可覆盖我们支持的两种token接口，既适用于单独预训练的分词器，也适用于与语言模型联合训练的分词器。在2.8倍压缩率下，蒸馏后的学生模型在六个教师-学生对中的五个上保持与教师1.9%相对词错误率（WER）以内，且无需微调，相比相同容量独立训练的分词器提升了3.9%相对性能。

  • ‡ 贡献相同
  • †NVIDIA
  • § Anthropic
  • ** 在Apple工作期间完成

相关阅读与更新

揭开策略蒸馏的面纱：其优势、劣势及原因

2026年7月9日 研究领域 方法与算法 , 研究领域 语音与自然语言处理

策略蒸馏为训练推理模型提供密集的逐token监督；然而，尚不清楚在何种条件下该信号是有益的，何种情况下是有害的。应该使用哪个教师模型？在自蒸馏的情况下，哪个具体上下文应作为监督信号？最优选择是否因token而异？目前，回答这些问题通常……

阅读更多

蒸馏扩展定律

2025年7月1日 研究领域 方法与算法 , 研究领域 语音与自然语言处理 会议 ICML

我们提出了一种蒸馏扩展定律，该定律基于计算预算及其在学生和教师之间的分配来估计蒸馏模型的性能。我们的研究通过使教师和学生都能实现计算最优分配来降低大规模蒸馏的风险，从而最大化学生性能。我们为两种关键场景提供了计算最优的蒸馏方案：当已有教师模型时，以及当……

发现机器学习领域的机遇

我们的机器学习研究每天都在取得新突破。

与我们合作