GKD

Google Research 最新发布「SLEEP」：给大模型加一段「离线巩固记忆」的周期，减轻灾难性遗忘 SLEEP 想解决的是：模型上线后知识基本冻结，硬调参容易灾难性遗忘，只靠上下文学习又出...

meng shao(@shao__meng) · 8.5 分

Google Research 提出 SLEEP 方法，通过离线巩固记忆周期减轻大模型灾难性遗忘，实验显示在多语言翻译和数学推理任务中表现优于基线。