Code-Switching Detection via Language-Selective Dimensions in Speech Foundation Models
TL;DR · AI 摘要
Apple提出利用预训练语音编码器的语言选择性维度直接检测代码切换，Whisper-small在CS-FLEURS数据集上达到0.798的F1分数。
核心要点
- Apple提出基于预训练语音编码器的轻量级CS检测方法，Whisper-small在14种语言对上达到0.798的F1分数。
- 该方法无需多语言转录，通过帧级激活聚合实现，优于CNN和HuBERT基线。
- 预训练语音编码器已包含识别CS所需信息，可提升多语言语料库的代表性。
结构提纲
按章节快速跳转。
思维导图
用一张图看清主题之间的关系。
查看大纲文本（无障碍 / 无 JS 友好）
- 代码切换检测方法
- 方法论
- 语言选择性维度提取
- 帧级激活聚合
- 实验结果
- Whisper-small F1:0.798
- 对比CNN/HuBERT基线
- 应用价值
- 构建多语言语料库
金句 / Highlights
值得收藏与分享的关键句。
我们的方法在CS-FLEURS数据集上达到0.798的平均F1分数，优于CNN和HuBERT基线。
预训练语音编码器已编码识别CS所需信息，无需依赖多语言转录。
通过单语录音识别语言选择性隐藏状态维度，聚合帧级激活实现检测。
通过语音基础模型中的语言选择性维度检测代码切换 - Apple 机器学习研究
研究领域
方法与算法
,
语音与自然语言处理
内容类型
论文
发布日期
2026年10月
通过语音基础模型中的语言选择性维度检测代码切换
作者：Chi Jie, Aldeneh Zakaria, Fedzechkina Masha, de Seyssel Maureen, Schluter Natalie
查看出版物
复制Bibtex
代码切换（Code-Switching，简称CS）指在单次发言中切换语言，这在多语言语音中很常见，但在预训练语料库中代表性不足。增加代码切换覆盖率需要在大规模语音集合中找到相关语句，以便将其纳入训练数据。一种找到这类语句的方法是转录语音并在文本中检测语言切换，但这依赖于获得准确的多语言转录。我们提出了一种轻量级方法，可直接从语音中检测代码切换。该方法利用预训练语音编码器中的帧级语言信息，判断发言中是否包含两种语言。具体而言，我们通过单语录音识别出语言选择性隐藏状态维度，并将它们的帧级激活值聚合为代码切换预测。使用少量代码切换数据集调整决策规则后，我们证明Whisper-small编码器在CS-FLEURS的14种语言对上的平均F1值达到0.798，优于CNN的0.776和单语语言识别训练的HuBERT线性基线的0.751。我们的研究结果表明，预训练语音编码器已经编码了识别代码切换发言所需的信息，并为构建更具代表性的多语言语料库提供了轻量级工具。
相关阅读与更新
进阶优化：面向中英代码切换ASR的迭代伪标签方法
研究领域：数据科学与标注，研究领域：语音与自然语言处理
发布日期：2026年8月20日
代码切换（CS）指在同一次发言中切换语言，由于代码切换训练数据有限，这对自动语音识别（ASR）提出了重大挑战。本文首次将迭代伪标签训练方法应用于代码切换ASR，证明其在利用未标记数据提升代码切换ASR性能方面的有效性。该方法包含三个阶段：伪标签生成、双阶段双语模型...
阅读更多
面向代码切换语音的端到端语音翻译
研究领域：语音与自然语言处理
会议：ACL
发布日期：2022年5月23日
代码切换（CS）指在不同语言之间交替使用词语和短语的现象。由于底层系统通常为单语设计，CS会给自然语言处理（NLP）带来显著的准确性挑战。在本研究中，我们聚焦于英语/西班牙语对话场景下的语音翻译（ST）任务，生成并评估了转录文本和翻译结果。为了评估模型在该任务上的性能...
发现机器学习领域的机遇
我们的机器学习研究每天都在取得突破性进展。
加入我们