Could On-Policy Self-Distillation Revolutionize Post-Training?

基于策略的自蒸馏能否革新模型微调？ | Towards Data Science

机器学习

基于策略的自蒸馏能否革新模型微调？

在不破坏已有能力的前提下教会基础模型新技能是一项巨大挑战。一种基于强化学习的新方法可能将彻底改变这一现状。

Jonathan Yahav

2026年10月22日

16分钟阅读

在Google上关注我们

分享

描述SDFT架构的示意图。

基于策略的自蒸馏（OPSD）（1）正在席卷机器学习研究领域。尽管OPSD框架大量依赖传统成熟方法，但该领域的首批论文直到2026年1月才被提交，距本文撰写时仅约九个月[1, 2]。在短短几个月内，已有数十篇相关论文发表[3]，涵盖从方法扩展[3]到局限性分析[4, 5]的各个方面。

本文将通过Shenfeld等人提出的自蒸馏微调（SDFT）框架[1]，探讨OPSD相关文献。如我们将看到的，论文标题中的"continual learning"（持续学习）指的是模型从数据流中有效动态学习的能力。首先，我们将分析OPSD框架试图解决的问题及其所依赖的方法论。

随后，我们将探讨SDFT的工作原理及其成功背后的理论解释。这些理论基础为论文中的实验提供了动机，而实验结果的前景令人鼓舞，表明OPSD可能具有广泛的应用潜力。最后，我们将讨论围绕OPSD出现的两个核心问题。

灾难性遗忘：为何持续学习如此困难

随着更强大的基础模型不断涌现，这些模型开箱即用能执行的任务数量呈指数级增长。这些模型通过消耗大量计算资源，在海量数据上进行预训练。对于大多数人而言，"训练机器学习模型"首先想到的就是预训练阶段。这是模型获得基本能力和知识的关键阶段。

后训练通过教会模型将预训练阶段学到的知识应用于特定目的、引导其表现出期望行为或学习新技能，来补充预训练。后训练目标可以是任何从更好地遵循指令到提升解决复杂数学问题能力的范畴。基础模型在发布使用前也会经历大量后训练。

然而，对于许多高度复杂或定制化的任务，进一步训练仍然是必要的。从零开始预训练定制模型成本过高且不切实际。因此，我们通常在基础模型上进行额外的后训练。微调是后训练的一种特定形式。如果目标是让模型专注于特定领域，单次微调可能就足够。但如果我们想在视觉-语言-动作（VLA）模型基础上构建，让机器人执行多种复杂任务？或者在低至中资源语言（2）中提升大语言模型（LLM）的跨领域表现？

在这些情况下出现的关键问题是灾难性遗忘：模型在学习新任务时会忘记如何处理旧任务。当灾难性遗忘发生在微调后阶段时，通常会发生得非常迅速。自然地，当我们训练模型学习新任务时，我们会影响其权重。这是学习发生的方式。我们逐渐“拉”动权重远离基础模型的权重。

然而，如果我们给模型施加过多压力，无论是过多的新数据，还是与之前看到的数据相比分布差异过大的少量新数据，都可能导致权重被过度拉扯，从而干扰模型执行之前训练过的任务的能力。在这种情况下，“过多”往往远低于人类的预期。

如名称所示，持续学习是指模型能够从可能无限且高度变化的数据流中持续学习，同时避免灾难性遗忘。如果正确实施，持续学习可以产生能够获取任意数量新技能而不显著牺牲原有能力的模型。

图1：2025年1月至2026年7月“持续学习”搜索兴趣趋势。图片由作者创作。来源：Google Trends。

过去一年对持续学习的兴趣显著上升（见图1）。在此期间取得了实质性进展。可用开放权重基础模型的显著改进，加上新的微调方法，开启了一个时代，使真正的持续学习比以往任何时候都更适用于更广泛的实际问题。

如上所述，这一时期引入的关键方法家族是OPSD，其中特别值得注意的是SDFT。在理解这些方法旨在解决的问题后，我们可以回顾SDFT所借鉴的传统方法，以及自2026年初以来OPSD引起广泛关注的理论和实证结果。

自我蒸馏

知识蒸馏是一种成熟的机器学习技术。过去一年中，它获得了大量关注，其中大部分是负面的，集中在所谓的蒸馏攻击指控[6]。然而，蒸馏本身并没有什么本质上的坏处。它是一种高效且广泛应用的技术。其核心思想很简单：使用更大的、更复杂的模型作为教师，训练学生模型复制其输出。

自我蒸馏对经典方法进行了创新。与使用不同且更强大的模型作为教师不同，教师和学生都是完全相同模型的副本。区分教师和学生的唯一因素是教师可以访问特权信息，且其参数更新方式略有不同。正如下面将看到的，这在减少灾难性遗忘方面可能带来好处。

总体而言，OPSD方法（特别是SDFT）采用了自我蒸馏。（这就是它们名称中“SD”的含义。）在SDFT中，教师会根据每个查询的专家演示进行条件设置（见图2）。理论上，这些专家演示可以包含任何可能帮助教师获得优势的内容。它们可以是正确答案的简要解释、如何得出正确答案的说明，甚至是涉及思考模型的完整推理过程。

在 SDFT 中，针对从 SciKnowEval 基准 [7] 的化学子集抽取的多项选择题，教师模型会获得正确答案及推导过程的简要说明（例如确定某种特定分子摩尔质量所需的步骤）。学生和教师均为 (非思考模式) Qwen-2.5-7B-Instruct 的实例化。化学专家演示由性能更强的 GPT-4o [1] 生成。

图 2：描述 SDFT 架构的示意图。每个查询都会配对一个对应的专家演示（例如查询的正确答案解释）。仅教师能接触到演示内容。学生和教师初始化为相同模型且参数一致。教师参数以学生参数的指数移动平均方式进行更新。损失项是学生和教师下一个 token 分布之间的反向 KL 散度。由于两者之间存在特权信息的不对称性，这两个分布会有所不同。图片由 I. Shenfeld, M. Damani, J. Hübotter, P. Agrawal 提供（出自 Self-distillation enables continual learning，采用 CC-BY 4.0 许可证）。

学生在回答查询时生成每个 token 时，学生和教师会分别生成下一个 token 分布，如图 2 中的 P P P 和 Q Q Q 所示。P P P 和 Q Q Q 的区别在于 Q Q Q 获得了仅教师可访问的特权演示信息。在每一步训练中，目标都是最小化 P P P 和 Q Q Q 之间的反向（3）KL 散度。计算散度是 Q Q Q 唯一被使用的场景，因为教师实际上从未生成任何 token。

训练过程直接更新学生参数。教师参数初始时与学生参数完全一致。训练过程中教师参数有三种更新方式：

• 无更新：教师权重保持初始状态冻结。Shenfeld 等人 [1] 报告称，冻结的教师权重会阻碍教师在训练过程中与学生同步提升，导致性能次优。

• 学生相同更新：即在整个训练过程中直接使用持续更新的学生模型作为教师。根据 Shenfeld 等人 [1] 的研究，这会降低训练稳定性。学生和教师过于相似会导致形成回音室，使微小变化偏离训练轨道。

• 平均更新：鉴于前述方法的缺陷，Shenfeld 等人 [1] 选择折中方案。在 SDFT（以及大多数其他 OPSD 框架）中，教师权重以学生参数的指数移动平均（EMA）方式进行更新。这意味着虽然两个模型的参数初始完全一致，但会在训练过程中逐渐产生差异。

自蒸馏方法乍看似乎有些反直觉。难道不应该是使用表达能力更强的模型作为教师，比仅仅使用学生模型的轻微改进版本能获得更好效果吗？或者为什么不直接将专家演示输入学生模型，而要经过教师模型？这正是灾难性遗忘问题再次浮现的时刻。虽然更强的教师可能更擅长帮助学生学习新任务，但这样做却可能导致学生在预训练任务上的表现恶化。

自蒸馏似乎能够缓解灾难性遗忘的原因在图3中得到了说明。通过将同一模型同时作为学生和教师，教师模型与学生模型之间的偏离程度比更大模型要小得多。借用我们之前的类比，自蒸馏的教师模型以更温和且更有针对性的方式调整学生模型的权重，但仍能教会学生需要学习的内容。

图3：示意图展示了自蒸馏如何在减少预训练基础模型（策略）的KL散度的同时促进学习。图片由I. Shenfeld、M. Damani、J. Hübotter、P. Agrawal提供，出自《Self-distillation enables continual learning》（采用CC-BY 4.0许可协议）。

Shenfeld等人通过多个实验提供了实证证据，表明SDFT在避免灾难性遗忘的同时能够产生优秀的微调后结果。不过在探讨这些结果之前，我们需要先介绍OPSD的第二个重要特性：它是一种基于策略的方法。

基于策略是最佳选择

在训练语言模型时，模型本身在强化学习（RL）的语境中扮演着所谓"策略"的角色。基于策略的RL方法有两种类型：基于策略和离线策略。

正如Cameron R. Wolfe在《Deep (Learning) Focus》文章"Online versus Offline RL for LLMs"（4）中所表述的：

我们所说的"基于策略"采样，是指在核心RL训练循环中用于训练我们LLM的补全（模型输出）是由LLM本身实时生成的——这些补全并非由其他模型生成，也不是存储在离线预计算数据集中。[9]

标准的监督微调（SFT）本质上是离线策略，因为被微调的模型学习的是预先生成并离线存储的数据。

基于策略和离线策略的RL方法都已被广泛用于LLM的后训练。然而，Shenfeld等人在之前的工作中声称，基于策略的RL特别适合后训练[10]。具体而言，他们证明了使用基于策略RL训练的模型，与使用标准SFT训练的模型相比，可以在新任务上实现相似性能的同时遗忘更少[10]。

这种遗忘减少的原因是基于策略RL似乎具有内在的倾向性，能够收敛到与微调前模型实现的基础策略KL散度最小的策略（见图4）。直观来说，由于模型仅在自身生成的输出上进行训练，基于策略的RL后训练会使模型更倾向于重新加权那些原本就合理可能生成的输出，而不是为显著偏离基础策略的输出分配概率。这与标准SFT不同，因为在标准SFT中，外部训练集可能导致模型模仿基础策略不会产生的模式。虽然可能存在无数种在某些新任务上表现良好的策略，但基于策略的RL似乎始终会选择与基础策略在KL散度上更接近的策略[10]。

图4：对"基于策略的RL导致后训练模型在KL散度上更接近其对应基础模型"这一论断所提出机制的示意图。图片由I. Shenfeld、J. Pari、P. Agrawal提供，出自《RL's Razor: Why Online Reinforcement Learning Forgets Less》（采用CC-BY 4.0许可协议）。

并非全是炒作...

自2026年1月以来，关于OPSD变体的论文以惊人的速度涌现，这强烈表明其潜在价值，但更重要的是其实际表现。我们已经看到其理论基础是可靠的。除了在纸面上逻辑通顺外，文献中的大量实验证明了on-policy RL与self-distillation之间的共生关系。我们将关注Shenfeld等人[1]和Zhao等人[2]进行的一些实验。

在《Self-distillation enables continual learning》[1]中，Shenfeld等人依次使用SFT和SDFT框架对模型进行训练，训练任务包括三个截然不同的任务。他们比较了每种训练方法下模型在训练过程中各任务的表现。

SFT表现出教科书式的灾难性遗忘。在任意时刻，除当前训练任务外的其他任务准确率会显著低于预训练模型的基准水平。在专注于特定任务时取得的任何改进，一旦转向下一个任务就会迅速被抵消[1]。

而SDFT不仅在每个任务的针对性训练前保持基准性能，还持续保留任务特定的改进。即使在对另外两个任务进行了数百次训练步骤后，第一个任务的性能（即遗忘）也没有明显下降。除了任务间的干扰外，SDFT的任务特定改进甚至在每个新任务上的准确率都超过了SFT[1]。

Zhao等人[2]的实验聚焦于新任务表现和token效率，他们使用OPSD框架、成熟的GRPO[11]和SFT训练模型并进行比较。在OPSD中，教师模型获得专家rollouts作为特权信息。在SFT中，模型使用专家rollouts作为参考解决方案。因此，OPSD和SFT在接收的信息量上大致相当。而GRPO接收到的信息则少得多。使用GRPO时，模型除了对最终答案进行二元比较外，实际上从未使用过专家rollouts，因此训练方法之间的比较存在混淆因素。

然而，Zhao等人[2]的实验表明，OPSD在训练期间的token效率显著优于GRPO，仅需更少的token即可在100次训练步骤内显著超越GRPO在AIME24、AIME25和HMMT25基准测试中的表现。这可能归因于OPSD充分利用了专家演示的全部信息，而GRPO仅使用最终答案。这里存在显著的信息不对称。

当将OPSD和GRPO的训练步数从100次增加到500次时，OPSD相对于GRPO的优势明显减弱，尤其是在测试较大模型（Qwen-3-8B和Qwen-3-4B）时。使用Qwen-3-8B时，GRPO甚至在HMMT25上超越了OPSD。然而，在较小的Qwen-3-1.7B模型上，OPSD的优势依然显著。此外，OPSD在所有测试中都明显优于SFT[2]。

...但它也不是万能药

尽管OPSD在使大语言模型（LLM）能够在不遗忘原有能力的前提下学习新能力方面表现出前景，但其仍存在局限性。Nicolicioiu等人[4]提出的一个核心问题是：在OPSD制度下，当演示样本从LLM输出中采样时（称为基于采样演示的自蒸馏SDSD），训练后的学生模型输出会出现多样性丧失。

他们描述并测量了两种多样性：功能多样性和语义多样性。前者指模型尝试解决同一问题的额外次数是否真正有助于问题解决。模型的功能多样性可通过其pass@k曲线的斜率进行衡量（即，给定每个测试问题k次尝试机会，模型能成功解决多少比例的问题？）。语义多样性则指模型输出在宏观策略层面的差异程度。作者通过专门设计的任务来衡量这一指标，该任务旨在促进多种不同的解决方案[4]。

实验结果表明，与GRPO训练的模型相比，SDSD训练模型的功能和语义多样性均显著降低。SDSD训练模型的pass@k曲线在多个基准测试中几乎完全平坦。这意味着SDSD训练模型每次尝试解决同一问题时几乎采用完全相同的策略，如果第一次未能解决，第二次甚至第64次成功的可能性也极低。SDSD训练模型在作者设计的语义多样性任务中表现也明显更差[4]。实际上，这意味着这些模型可能在需要生成多个方案并选择最优解的场景（如简单代理任务或数学定理证明）中存在固有缺陷，因为这类场景通常依赖LLM评估选择最佳方案。

Nicolicioiu等人将这种多样性丧失归因于训练过程中模型偏差的累积。他们指出，策略梯度强化学习（on-policy RL）的普遍模式搜索特性在这一过程中发挥了关键作用。"模式搜索"意味着策略梯度强化学习会将模型的概率质量集中在分布峰值区域，导致作者称为"可能越可能"（likely-get-likelier）的行为。这种行为因教师模型对与采样演示相似的解决方案存在过度偏好而加剧。教师模型会奖励与演示相似的学生模型输出，惩罚与演示不同但同样正确的输出，即使这些输出在正确性上完全等价[4]。

另一个重要问题是，Shenfeld等人[1]和Zhao等人[2]早期论文中验证的结果是否能复现于思考模型。前述实验均使用指令微调（非思考）模型进行。然而，思考模型在挑战性推理任务中表现独特，普遍位居基准测试性能排行榜首位。如果OPSD也能用于对这类模型进行后训练，将具有重要价值。

不幸的是，Kaur等人[5]的研究表明，OPSD无法直接泛化到思考模型。他们在AIME24、AIME25和HMMT25基准测试中对五种不同的思考模型进行了实验。他们的核心发现是，OPSD在每个基准测试中对每个模型的avg@16指标（16次训练学生推理轨迹的平均准确率）均产生显著下降，通常超过5个百分点，有时甚至接近10个百分点。他们推测，这种现象可能源于教师模型在学生推理轨迹的关键转折点提供的信号，可能阻碍了学生在承诺错误解决方案路径之前进行自我修正的机会[5]。

结论

在阐述持续学习的定义及其难以实现的原因后，我们拆解了基于策略的自蒸馏（On-Policy Self-Distillation）方法的两个核心组件：自蒸馏和基于策略的强化学习，重点分析了Shenfeld等人[1]提出的SDFT框架。我们分别从更广泛的机器学习背景中探讨了这些要素，理解自蒸馏与经典监督微调的差异、基于策略的强化学习与基于非策略的强化学习的区别，以及它们各自如何缓解灾难性遗忘问题。

随后，我们通过文献中OPSD令人鼓舞的实验结果验证了理论分析，最后讨论了OPSD在开箱即用时的一些核心局限性，包括通过偏差累积导致输出多样性丧失，以及思考模型性能的明显退化。

如果您喜欢这篇文章，请考虑在LinkedIn上关注我，以持续获取未来文章和项目动态。特别感谢INSAIT团队今年夏天的接待，让我有机会参与OPSD及相关前沿研究的贡献。

···

脚注

(1) Zhao等人[2]使用OPSD特指其论文中提出的特定算法。相比之下，本文更广泛地使用该术语，泛指所有基于相同原理的算法。

(2) 在模型预训练数据中仅出现有限次数的语言。

(3) 尽管论文中描述SDFT使用反向KL散度，并在该假设下证明了其理论结果[1]，但根据论文的GitHub仓库[8]，实验实际上使用的是正向KL散度。

(4) Wolfe的深度（学习）聚焦是任何对人工智能前沿研究感兴趣者的绝佳资源。

参考文献

[1] Shenfeld, I., Damani, M., Hübotter, J., and Agrawal, P. 自蒸馏实现持续学习. 在《第43届国际机器学习会议论文集》（Proceedings of the 43rd International Conference on Machine Learning）中，第306卷，首尔，韩国，2026年。PMLR. URL: https://doi.org/10.48550/arXiv.2601.19897 .

[2] Zhao, S., Xie, Z., Liu, M., Huang, J., Pang, G., Chen, F., and Grover, A. 自蒸馏推理器：面向大语言模型的基于策略自蒸馏. 在《第43届国际机器学习会议论文集》中，2026年. URL: https://openreview.net/forum?id=Jpxfof0EaS .

[3] Cui, F., Li, S., and Li, J. 简要综述：大语言模型中的基于策略自蒸馏. arXiv预印本 arXiv:2605.18141, 2026年. URL: https://doi.org/10.48550/arXiv.2605.18141 .

[4] Nicolicioiu, A. L., Pezeshki, M., and Courville, A. 基于采样演示的策略自蒸馏降低输出多样性. 在 ICML 2026 深度生成模型基础研讨会：理解记忆、泛化与推理, 2026. URL: https://openreview.net/forum?id=PAz606dOEx .

[5] Kaur, S., Ri, N., He, Y., Fowl, L. H., and Arora, S. 重新思考策略模型的自蒸馏方法. ICML 2026 深度生成模型基础研讨会：理解记忆、泛化与推理, 2026. URL: https://openreview.net/forum?id=VhCJItwQHn .

[6] Seetharaman, D., and Arámburo, F. 备忘录显示OpenAI指控DeepSeek通过蒸馏美国模型训练AI. In Reuters, 2026. URL: https://www.reuters.com/world/china/openai-accuses-deepseek-distilling-us-models-gain-advantage-bloomberg-news-2026-02-12/ .

[7] Feng, K., Shen, X., Wang, W., Zhuang, X., Tang, Y., Zhang, Q., and Ding, K. SciKnowEval：评估大语言模型的多层级科学知识. arXiv preprint arXiv:2406.09098, 2025. URL: https://arxiv.org/abs/2406.09098 .

[8] Shenfeld, I. 自蒸馏. GitHub, 2026. URL: https://github.com/idanshen/Self-Distillation .

[9] Wolfe, C. R. 在线与离线强化学习在大语言模型中的应用. Deep (Learning) Focus, 2025. URL: https://cameronrwolfe.substack.com/p/online-rl .

[10] Shenfeld, I., Pari, J., and Agrawal, P. 强化学习的剃刀：为何在线强化学习遗忘更少. 在第14届国际学习表征会议论文集, 里约热内卢, 巴西, 2026. URL: https://doi.org/10.48550/arXiv.2509.04259 .

[11] Wolfe, C. R. 群体相对策略优化（GRPO）. Deep (Learning) Focus, 2025. URL: https://cameronrwolfe.substack.com/p/grpo .