Which tokens does a hybrid model predict better?

混合模型在哪些 token 上预测效果更好？

返回文章

[0

[-1

企业

]

文章

发布于 2026 年 6 月 25 日

点赞

5

[

Kyle Wiggers

Ai2Comms

关注

allenai

📄 技术报告：https://arxiv.org/abs/2606.20936

模型在哪些类型的 token 上预测效果好，哪些又不好？这个问题在混合模型中尤其引人关注，混合模型是一种开始挑战标准变压器架构的语言模型架构，我们一直在使用 Olmo Hybrid 进行研究。

混合模型在标准基准测试中可以与变压器模型相媲美甚至超越它，但这些 headline 数字并没有揭示混合模型相比变压器模型的具体优势。

为了深入了解这些 token 级别的行为，我们最近进行了实验，将我们最强的 7B 变换器模型 Olmo 3 与混合模型 Olmo Hybrid 进行了面对面的比较。具体来说，我们以一种细致的方式比较了不同类型的 token（或作为 LLM 输入的单位信息）在模型预测上的差异。

由于 Olmo 3 和 Olmo Hybrid 在架构之外尽可能相似——在数据、分词器和训练配方上都紧密匹配——它们预测上的任何差异主要反映了架构本身。在 token 级别上查看这些差异，使我们能够深入了解混合模型相比变压器模型的具体优势。

我们的结果显示，混合模型在许多 token 上具有优势，但并非所有 token。Olmo Hybrid 在承载意义的 token 上表现最强，如名词、动词和形容词，以及必须通过跟踪上下文才能预测的 token，如代词所指的某个人。然而，在那些只是重复输入中已有内容的 token 上，混合模型的优势几乎消失——即从早期输入中逐字复制的单词或短语，答案就在那里，可以直接查找。这是变压器模型的优势所在。

注意力与递归，以及衡量差异

语言模型由一组重复的层构建而成，每一层都使用周围的 token 来优化对每个 token 的表示。

变压器模型在每一层都使用注意力机制。模型可以同时直接引用所有先前的 token，并衡量每个 token 对当前预测的相关性。这使得注意力机制在精确回忆一个先前 token 方面表现良好，即使该 token 在输入中出现得非常早。但问题是，每个 token 都要与所有先前的 token 进行比较，因此随着输入的增长，注意力机制的成本急剧上升。此外，虽然注意力机制在回忆和聚合信息方面很强，但其在表示随时间演变的信息方面却存在困难。

混合模型保留了一些注意力层，但将其他层替换为递归层。与注意力层不同，递归层从左到右读取 token，并携带一个固定大小的内存，随着读取每个新 token，将其折叠到内存中，因此处理每个 token 的成本保持平稳，无论输入多长。该内存是压缩和有损的，因此递归层无法像注意力机制那样回溯以获取一个确切的先前 token。但递归层非常适合在模型读取 token 时，持续跟踪任何发生变化的信息，为注意力机制提供一种互补的优势。

为了隔离注意力层和循环层的优势和劣势区域，我们向 Olmo 3 和 Olmo Hybrid 输入了包含文章、维基百科条目、书籍和科学论文等文本，以及 Python、HTML 和 LaTeX 等结构化文本的段落。我们根据模型在给定样本中从前面的标记预测每个标记的准确性，对每个模型进行评分。

两个模型看到的早期标记是相同的，并且为每个可能的下一个标记分配了概率。我们记录了每个模型对实际下一个标记所分配的概率。然后，我们通过计算两个模型之间的损失差距（即两个模型损失的差异）来逐标记地总结它们之间的差异。正的差距意味着混合模型对真实下一个标记的预测更好，负的差距意味着变压器模型表现更好。

为了找出损失差距可能集中的地方，我们进行了多项分析。首先，我们将每个标记归类，并在这些类别中计算损失差距的平均值。由于原始平均值可能会受到其他因素的影响，例如类别本身的稀有性或在文本样本中标记重复的频率，我们通过回归分析重新检查了每个模式，以估计在控制其他因素不变的情况下类别本身的影响。

真实文本所显示的内容

我们发现，Olmo Hybrid 在大多数类型的标记上损失比 Olmo 3 更低，尽管在每种类型上的差距并不相同。

在散文中，最明显的区别在于内容词（承载意义的名词、动词和形容词）和功能词（如“the”、“of”和“is”）之间。混合模型在预测内容词方面优于变压器模型，损失差距约为 0.04 0.04 0.04，而在功能词上的差距则接近 0.02 0.02 0.02。

特别是，在副词和形容词等内容词类别中，混合模型的优势尤为明显。尽管一些功能词类别，如存在词（如“there”）也显示出混合模型的显著优势。简而言之，混合模型在表达句子主题的词语上具有最大的优势，而在任何模型几乎都可以根据句法猜测的语法词上，优势最小。

相比之下，我们发现了一些特定情境下，混合模型对变压器模型的优势消失。第一个情境是闭合括号，而非开启括号，这种模式在语言、代码和标记中都具有稳健性。为什么？因为已知注意力机制足以表示括号匹配，这表明仅凭注意力机制就足以预测闭合括号。

混合模型优势几乎消失的第二个情境是，当下一个标记只是重复了段落中已经出现的内容。我们通过查找重复的 n-gram 来识别这些情况：文本中出现的一段连续内容，其中完成一个序列的标记在同一篇段落中已经以原样出现过。重复的段落越长，混合模型的优势越小，直到接近零。

最后，受这些发现的启发，我们探索了在特定类型的标记上使用过滤后的损失作为评估方法，以更好地比较不同架构在预训练实验中的表现。我们使用了我们之前 Olmo Hybrid 工作中的三个 1B 参数模型：一个变压器模型、一个混合模型和一个完全没有注意力机制的纯循环模型。

在非重复的承载意义的标记上，混合模型和纯循环模型超过了变压器模型，其中混合模型表现最好。在重复的标记上，由于没有注意力机制可以回溯复制，纯循环模型的表现落后于混合模型和变压器模型。

因此，这些经过过滤的标记损失揭示了不同架构之间的细微差异，包括复制能力和内容词的差异，这些差异在训练初期以其他方式是无法看到的。

这使我们处于何种境地

在1B预训练期间，过滤后的标记损失揭示了架构差异。对于一个Transformer、一个混合模型和一个纯循环神经网络（RNN）来说，在WSD退火检查点的标记损失曲线。

从这项工作中，我们得出两个教训。

首先，一个总体的损失——模型在所有标记上的平均误差——过于笼统，无法比较Transformer和混合架构。仅在测试特定模型能力的标记上评分损失，可以揭示关键差异。

其次，特别是对于混合模型，我们发现它们在开放类标记上具有特定优势，这可能与RNN层的状态跟踪能力有关。

下一步，我们将这些发现纳入我们正在进行的混合建模工作中。我们认为，最好的混合架构将来自于理解模型每个组件在标记层面的优势。我们希望像这样的研究能够帮助整个AI社区加深这种理解。

我们鼓励您阅读我们的完整报告，探索Olmo 3，尝试Olmo Hybrid，并深入研究其相关的开放资源。

更多来自该作者的内容

MolmoMotion：语言引导的3D运动预测

10

2026年6月17日

olmo-eval：用于模型开发循环的评估工作台

16

2026年6月12日

社区

pszemraj

约21小时前

[2

出色的工作，我一直对AllenAI改进的混合架构非常兴奋。不过，我有一个问题：

论文中唯一真正匹配数据的比较是1B梯度（Transformer / 混合 / 纯RNN，相同的混合比例），您用它来进行6个过滤损失评估，但只是作为总体损失，而不是POS/括号/复制分解。由于这是在发布的检查点上进行的前向传递，您是否已经运行（或可以运行）对这些模型的相同标签分层分析？这将有助于显示内容词/开放-关闭/复制结构在数据实际保持不变时是否仍然存在（与约7B的情况相比）。

好奇您是否也内部研究过这一点

查看翻译

回复

编辑

预览

通过拖拽到文本输入框、粘贴或点击此处上传图片、音频和视频。

点击此处上传图片

评论

· 注册或登录以发表评论