RLTL;DR: Self-Improvement by Internalizing Self-Generated Feedback
TL;DR · AI 摘要
RLTL;DR: Self-Improvement by Internalizing Self-Generated Feedback - Apple Machine Learning Research research area Metho...
核心要点
- 主题聚焦：RLTL;DR: Self-Improvement by Internalizing Self-
- 来源：Apple Machine Learning Research，建议结合原文判断细节。
- AI 分析暂不可用，本条为保底评分与摘要。
RLTL;DR：通过内化自生成反馈实现自我提升 - 苹果机器学习研究
研究领域
方法与算法
会议
NeurIPS
内容类型
论文
发布日期
2026年10月
RLTL;DR：通过内化自生成反馈实现自我提升
作者 Michael Kirchhof, Eleonora Gualdoni, Andrew Szot, Khashayar Gatmiry, Aryo Lotfi, Abbas Kazerouni, Omar Attia, Sanjoy Chowdhury, Alexander Toshev
查看出版物
复制Bibtex
可验证奖励强化学习（RLVR）的常见范式是让智能体多次尝试任务，并向成功案例优化。这在自我提升领域会遇到问题，因为任务过于困难导致智能体几乎没有成功机会，且没有教师模型或示例解决方案可供蒸馏。本文中我们提出RLTL;DR方法。每次失败尝试后，我们向策略展示验证器输出，并让其以TL;DR洞察形式撰写自身反馈。下一次执行将基于所有先前洞察，我们按顺序采样执行直到找到解决方案。此外，我们对上下文洞察启用反向传播以内化直接任务→洞察映射。在具有挑战性的工具调用和编码数据集（过滤后Pass@128=0）上，标准GRPO训练的Qwen 3.5 9B Thinking策略在Pass@1指标上始终维持0%-1%。RLTL;DR突破这一学习障碍，在训练时上下文包含洞察的情况下实现14%-31%的Pass@1，关键的是在评估时无洞察上下文情况下仍达到12%-13%。我们发现关键在于任务→洞察的内化。为深入研究，我们将方法简化为SFTL;DR，仅在(task, insight)元组上训练，不展示或反向传播任何执行过程。仅训练4k个这样的元组即可恢复RLTL;DR和完整执行的经典SFT几乎全部性能。这证明了"针对此类任务，记住此类要点"的紧凑训练范式，希望为未来研究提供启发。
相关阅读与更新
DR-MPC：面向现实世界社交导航的深度残差模型预测控制
2025年3月6日 研究领域 计算机视觉 , 研究领域 方法与算法 会议 IEEE机器人与自动化快报
如何让机器人安全地避开具有复杂运动模式的人群？模拟中的深度强化学习（DRL）有一定前景，但大量先前工作依赖的模拟器无法捕捉真实人类运动的细微差别。因此我们提出深度残差模型预测控制（DR-MPC），使机器人能够快速安全地从真实世界人群导航数据中进行DRL。通过将MPC与无模型DRL结合，DR-MPC克服了...
阅读更多
2023年苹果健康机器学习研讨会
2023年11月8日 研究领域 健康
今年早些时候，苹果举办了健康机器学习研讨会。这个为期两天的混合活动聚集了苹果公司、学术研究界和临床医生，讨论健康领域的最先进机器学习（ML）研究。
发现机器学习领域的机遇
我们的机器学习研究每天都在取得突破性进展。
与我们合作