The sleep framework: A new way for LLMs to retain knowledge in continual learning

现代大型语言模型（LLMs）通过预训练和上下文学习（ICL）实现了令人印象深刻的性能。然而，一旦部署后，它们基本保持静态，以固定的截止日期知识进行操作，这使它们无法获取长期能力或适应新信息。

虽然用新数据更新模型看似是显而易见的解决方案，但持续的参数更新通常会触发灾难性遗忘，这是一个根本性问题：学习新任务会严重损害先前任务的性能。另一方面，严格依赖ICL会将知识保留限制在即时上下文窗口内：一旦上下文会话结束，获得的短期信息就会被遗忘。

受人类大脑在休息期间处理和稳定记忆的启发，我们在持续学习中引入了睡眠框架：一种学习范式，为大型语言模型（LLMs）赋予持续的_周期性_生命周期，使其能够持续学习，将脆弱的短期上下文巩固为稳定的长期参数。通过该框架，我们证明交替进行主动交互和离线记忆巩固，使LLMs能够持续获取新事实，保留长达10M个标记的长上下文知识，并提升复杂推理能力。

重新思考机器学习：主动（清醒）阶段 vs. 睡眠阶段

传统机器学习依赖于训练和推理之间的严格分离。在持续学习框架中，这种区分变得人为化；智能代理必须持续学习、适应并处理信息。

在睡眠范式下，LLM运行在两种主要状态中：

1. 主动（清醒）阶段：模型主动接收、处理并交互输入，将临时信息存储在快速的短期记忆组件中。
2. 睡眠阶段：模型暂停处理新输入，并将其内部计算转向记忆巩固和自我改进。

尽管“睡眠”、“做梦”和“自我改进”等术语借用自神经科学，但我们的框架完全在固定模型架构和人类定义的训练规则内运行。在离线睡眠阶段，模型解锁预分配的专家混合（MoE）内存块，并使用自生成的练习示例更新其数值权重。这种自动化的训练后循环帮助部署的模型吸收新事实并提升推理准确性，同时保持其核心代码库和设计不变。

睡眠过程的关键组件

睡眠范式通过两个阶段解决灾难性遗忘和持续适应：记忆巩固和做梦。

1. 记忆巩固

在人脑中，非快速眼动（NREM）慢波睡眠通过抽象和蒸馏将脆弱的记忆巩固为长期结构。我们提出的睡眠框架通过两个关键技术机制模拟这一自然现象：

• 参数扩展与连续内存层次结构： 为防止灾难性遗忘，模型在睡眠期间动态扩展其容量。通过使用专家混合（MoE）和Hope架构，新解锁的低秩专家被集成到稳定且低频的内存模块中，以存储新知识而不干扰旧参数。
• 知识播种（向上蒸馏）： 存储在高频层（例如上下文内存）中的脆弱短期记忆被转移到新扩展的长期参数中。这通过广义知识蒸馏（GKD）结合基于强化学习（RL）的模仿学习实现：
• 策略内蒸馏： 扩展后的学生模型从教师分布中学习特定于标记的反馈，这些分布是基于自采样序列生成的。
• 模仿学习（LTI）： 学生模型在完成教师生成文本的前缀时，根据语义和绝对相似性（Levenshtein距离）获得奖励。

• 突触修剪： 一旦内存整合到低频模块完成，高频临时参数将被重置，为未来的活跃会话释放容量。

2. 用于自我提升的梦境

在快速眼动睡眠期间，人脑会主动模拟场景、巩固情感/语义联系并探索新的神经通路。模仿这一过程，在“梦境阶段”，睡眠框架实现了自主的自我提升循环：

• 随机专家选择： 在合成数据生成期间，MoE路由器会随机激活非标准专家。这迫使模型混合不同领域的知识并发现潜在模式。
• 精选演练： 模型生成合成训练样本（“梦境”），并使用基于梯度的数据选择进行过滤，优先选择最有可能提升整体模型能力的样本。
• RL优化： 模型对评分最高的梦境样本进行监督微调，并评估生成内容是否提升了下游任务的性能。

理论基础

除了实证结果外，我们的睡眠范式基于一个理论，该理论阐明了为什么其两个阶段（记忆巩固和梦境）能够支持持续学习，而不仅仅是用新知识替换旧能力。

对于记忆巩固，分析表明知识播种可以被理解为结构化的低秩压缩问题。模型不需要将短期记忆的每个细节复制到参数中，而是识别出一组紧凑的方向，这些方向既能最好地保留模型自身的策略行为，又能保留学习目标奖励的语义特性。

这种视角解释了两种信号的互补作用：策略蒸馏使知识固化过程与模型在推理时实际生成的轨迹保持一致，减少了仅依赖教师模型生成分布进行训练时可能出现的分布偏差；同时，语义奖励改变了知识保留的价值标准，优先保留那些维持语义和任务相关行为的方向，而非单纯匹配词元概率。参数扩展则提供了足够的容量，用于存储这些筛选后的记忆，而不会覆盖之前固化的重要知识。

在梦境生成方面，该理论将随机专家激活和基于奖励的样本选择机制描述为优化学习几何结构的手段。引入不同类型的专家混合模型（MoEs）能够扩展合成生成过程中探索的梯度方向集合，使模型接触到比普通清醒数据单独诱导的更新更丰富的梯度信息。随后的梯度过滤机制则会强化那些携带最有效学习信号的合成经验，在保留底层梯度空间结构的同时，增强信息量最大的方向。

这些步骤共同作用形成了更平衡的优化景观：学习过程不再被少数方向主导，梯度条件更优，模型在提升能力时能够实现更稳定的进展。从这个角度看，梦境生成不仅是简单的自生成数据增强，更是一个有意识的过程，通过多样化、筛选和固化更新来实现模型的自我提升。

在持续学习任务中，针对未见过的语言（如满语和卡拉芒语），睡眠框架在多阶段评估中保持了接近零的性能下降，而标准基线方法如ICL、Cartridges和监督微调（SFT）在顺序学习过程中经历了严重的灾难性遗忘。

在BABILong基准的长上下文理解任务中，我们的睡眠方法通过睡眠时的知识固化直接将长上下文信息压缩到参数记忆中，实现了接近完美的1000万词元扩展能力，优于GPT-4和Titans等强基线方法。

在SQuAD和持续预训练（CPT）评估中，我们的睡眠方法在单任务测试中达到48.9%，在CPT测试中达到46.2%，通过成功整合新事实信息而不损害现有模型表示，优于包括基础模型、SFT和自适应语言模型（SEAL）在内的基线方法。

最后，在包括AIME 24/25和HMMT 25的数学推理基准测试中，睡眠增强的基础模型分别取得了79.2%、69.0%和46.1%的准确率。这优于SFT、群体相对策略优化（GRPO）和在线策略自蒸馏（OPSD）等基线方法，表明将记忆巩固与模仿学习结合能够显著提升推理性能。

结论

我们的睡眠范式为构建自主、持续学习的AI系统提供了可行路径。通过突破静态预训练和脆弱上下文窗口的限制，交替进行主动学习和离线休息使大语言模型能够保留短期记忆、将新技能抽象为长期参数结构，并在不发生灾难性遗忘的情况下持续自我优化。

致谢

_本研究__由阿里·贝赫鲁兹（Google和康奈尔大学）、法尔努什·哈什米（康奈尔大学）、阿德尔·贾瓦纳马尔德（Google和南加州大学）和瓦哈布·米尔罗基尼共同完成。我们感谢袁登和科琳娜·科尔特斯对本工作的评审及宝贵建议。同时感谢马克·西姆博格、金伯利·施韦德和蒂姆·赫尔曼在撰写本文时的帮助。_