REVERSAL-BENCH: A Reversibility Axis and Reset Oracle for Measuring the Reset-Free RL Cliff
TL;DR · AI 摘要
Apple提出REVERSAL-BENCH基准，揭示无重置强化学习在可逆性下降时的性能崩溃，并提供重置预言机和安全护盾。
核心要点
- REVERSAL-BENCH通过ρ∈[0,1]参数控制环境可逆性，验证无重置代理在ρ增加时陷入不可恢复状态
- 物理模拟实验显示无重置代理吸收不可逆状态，而周期性代理保持稳定学习
- 安全护盾可预测恢复性但仅在代理能物理避开陷阱时实现主动恢复
结构提纲
按章节快速跳转。
思维导图
用一张图看清主题之间的关系。
查看大纲文本（无障碍 / 无 JS 友好）
- REVERSAL-BENCH
- 可逆性轴
- ρ∈[0,1]参数控制
- 重置预言机
- 状态恢复性验证
- 实验发现
- 无重置代理性能悬崖
- 周期性代理稳定性
金句 / Highlights
值得收藏与分享的关键句。
无重置代理在ρ增加时被吸收至不可恢复状态，而周期性代理保持稳定学习
安全护盾可准确预测恢复性，但主动恢复仅在代理能物理避开陷阱时有效
通过几何相同可逆对照实验，确认性能崩溃由不可逆性而非障碍复杂度驱动
REVERSAL-BENCH：用于衡量无需重置强化学习悬崖的可逆性轴与重置预言机
研究领域
方法与算法
内容类型
论文
发布日期
2026年9月
REVERSAL-BENCH：用于衡量无需重置强化学习悬崖的可逆性轴与重置预言机
作者：Riyaaz Shaik, Chandru Venkataraman
查看出版物
复制Bibtex
自主强化学习的核心目标是实现无需外部重置的持续策略训练。然而，现有范式在很大程度上依赖于环境的可逆性这一特性，而这一特性在现实世界的操作场景中并不存在。例如，将物体从桌子上推下或让颗粒物质洒落等事件无法被撤销。我们引入REVERSAL-BENCH基准测试，通过连续参数ρ∈[0,1]控制可逆性，并提供重置预言机——一种真实验证机制，用于在五个物理引擎的八个操作场景中测试状态可恢复性。对广泛策略架构的评估（包括标准的actor-critic算法、安全强化学习和专用的无需重置框架）揭示了一个明显的可逆性悬崖：随着ρ增加，无需重置智能体会持续陷入不可恢复状态，而基于回合的智能体则能保持稳定学习。我们在自主无需重置基线和约束强化学习中都观察到这种失效模式。由于无需重置智能体缺乏外部重置机制，任何进入不可恢复状态的转换都会导致永久吸收，使智能体陷入无法继续学习的困境。我们证明这种吸收现象在学习到的操作策略的完整物理模拟中依然存在。通过与几何上完全相同的可逆对照组进行对比验证，我们确认这种失效是由不可逆性而非障碍物复杂度引起的。我们发布了基准测试套件、包含可恢复性标注的多模拟器大型数据集以及重置预言机。我们还评估了一个安全防护机制，该机制能在不可逆故障发生前进行干预，结果表明虽然可恢复性可以被准确预测，但主动恢复措施只有在智能体能物理避开陷阱时才能成功。
相关阅读与更新
AgentBuilder：探索界面代理用户体验原型的支架工具
2026年1月9日 研究领域 人机交互
由生成式AI模型驱动的界面代理（称为"代理"）可根据用户指令自动执行操作。开发代理的一个重要方面是用户体验（即代理体验）。随着越来越多非AI工程师需要参与代理体验设计，迫切需要为更广泛人群提供原型设计支架，因为他们能为代理体验设计提供有价值的视角。在本研究中，我们探讨了â¦
阅读更多
通过自博弈学习多智能体谈判
2019年1月28日 研究领域 ICCV计算机视觉研讨会
智能系统的核心是做出复杂、稳健且安全的顺序决策。这在复杂多智能体环境中的规划尤为关键，因为智能体需要预测其他智能体的意图和可能的未来行动。传统方法将问题建模为马尔可夫决策过程，但解决方案往往依赖各种假设，遇到边缘案例时容易失效。在â¦
发现机器学习领域的机遇。
我们在机器学习领域的研究每天都在取得新突破。
与我们合作