Could On-Policy Self-Distillation Revolutionize Post-Training?
Towards Data Science3946 字 (约 16 分钟)
85
On-Policy Self-Distillation（OPSD）通过知识蒸馏解决持续学习中的灾难性遗忘问题，SDFT框架在实验中展现显著效果。
入选理由：SDFT框架通过历史策略生成数据缓解灾难性遗忘，准确率提升15%
FeaturedArticle#机器学习#持续学习#知识蒸馏#强化学习英文