Highly recommended paper from CMU and others on how foundation models get trained. It fundamentally...

elvis on X: "强烈推荐来自 CMU 及其他机构的一篇论文，探讨基础模型的训练方式。该论文从根本上质疑了预训练、中期训练、监督微调（SFT）和强化学习（RL）是否必须作为独立阶段存在。研究显示这种分离并非本质需求。所有阶段均可在单一基于似然的算法下运行，他们称之为统一训练。关键步骤是将合适的 RL 目标视为对模型生成目标的最大似然拟合。RL 生成和静态数据随后共享一个损失函数和一个训练器。这改变了设计问题。你现在需要决定在什么数据上训练、以什么比例以及何时进行训练。分阶段训练成为统一训练的一个特例。他们首先从零开始训练了一个 1.24 亿参数的模型解决推理谜题。最佳统一训练在 RL 任务上超越了分阶段训练。他们在模型从未见过的更大谜题上也取得了更好效果。这些训练最多重复使用中期训练语料库 4 次。当中期训练超出最佳预算时，分阶段训练的准确性下降。在固定计算预算下，统一训练在最小和最大预算时都取得了最佳准确性。分阶段训练在中间预算时表现更优。现实测试使用了 7.6 亿参数模型进行数学 RL 训练，混合了 0% 至 5% 的中期训练数据。数学准确性保持稳定的同时，知识保留率提升。随着混合比例增加，编码准确性下降。持续学习给出了最清晰的结果。数学训练后，所有统一训练模型最终在编码准确性上都超越了分阶段训练，尽管初始表现较低。5% 混合比例效果最佳。实验规模较小，作者尚未找到适用于所有场景的最佳混合比例或训练计划。

arxiv.org/abs/2610.40564

Chat with Paper:

academy.dair.ai/papers/trainin…

8:33 PM · Oct 31, 2026

·

4,576

Views

18

11

59

48