elvis(@omarsar0)

Good paper on credit assignment for agent RL. The main finding is that you want an LLM judge to cho...

8.5内容质量
Good paper on credit assignment for agent RL. The main finding is that you want an LLM judge to cho...

TL;DR · AI 摘要

ProVer方法通过LLM法官和rollouts动态分配信用，显著提升强化学习模型性能。

核心要点

  • ProVer在Qwen3.5-2B上实现9.91%性能提升，4B模型提升7.12%
  • LLM法官通过对比成功/失败轨迹定位关键决策段落
  • 小模型法官仍能带来7.12%性能增益

结构提纲

按章节快速跳转。

  1. §引言

    介绍强化学习中信用分配问题及现有方法局限性

  2. ·GRPO方法缺陷

    GRPO对轨迹中所有token赋予相同advantage导致信号模糊

  3. ·ProVer创新点

    引入LLM法官定位关键决策段落并动态计算advantage

  4. ›实现机制

    通过对比成功/失败轨迹，采样前后期续并计算成功率变化

  5. ·实验验证

    在三个基准任务中实现显著性能提升，小模型法官仍有效

思维导图

用一张图看清主题之间的关系。

查看大纲文本（无障碍 / 无 JS 友好）
  • 强化学习信用分配
    • ProVer方法
      • LLM法官定位关键段落
      • 成功率变化计算advantage
      • 跨任务性能提升
    • 对比方法
      • GRPO均匀分配advantage

金句 / Highlights

值得收藏与分享的关键句。

#强化学习#信用分配#LLM#ProVer#GRPO
打开原文

elvis on X: "关于智能体强化学习中信用分配的优秀论文。主要发现是需要让大型语言模型裁判选择检查轨迹的位置，由模拟运行决定该步骤应获得多少信用。GRPO为轨迹中的每个标记赋予相同的信用优势，因此训练信号无法区分关键步骤。ProVer让裁判比较成功和失败的模拟运行，并命名其认为导致差异的片段。随后从该片段前后采样延续部分，并利用成功率的变化作为该片段的信用优势。在ALFWorld、WebShop和SearchQA任务中，这种方法相比GRPO分别带来9.91%（Qwen3.5-2B）和7.12%（Qwen3.5-4B）的相对提升。即使裁判是小型模型时仍能带来帮助。论文：

arxiv.org/abs/2609.36178

论文讨论：

academy.dair.ai/papers/targeti…

2026年10月2日 上午8:00

·

10.2K

次浏览

20

15

120

78