Apple Machine Learning Research

Self-Compacting Language Model Agents

8.5内容质量

TL;DR · AI 摘要

SELFCOMPACT方法通过模型自主决策实现上下文压缩，使数学任务准确率提升18.1%，搜索任务提升5-9点，且无需微调。

核心要点

  • SELFCOMPACT在数学基准测试中比无压缩基线提升18.1点
  • 结合压缩工具与轻量规则实现自适应压缩
  • 在7个模型6个基准测试中验证有效性

结构提纲

按章节快速跳转。

  1. §引言

    现有代理模型因长轨迹积累过时内容导致性能下降

  2. ·问题分析

    固定间隔压缩方法无法识别轨迹结构导致部分结果丢失

  3. ›SELFCOMPACT方法

    通过模型自主调用压缩工具并结合轻量规则实现自适应压缩

  4. ·实验验证

    在6个基准测试中证明SELFCOMPACT优于固定间隔压缩方法

  5. ›结果对比

    数学任务准确率提升18.1%，搜索任务提升5-9点

思维导图

用一张图看清主题之间的关系。

查看大纲文本（无障碍 / 无 JS 友好）
  • Self-Compacting Language Model Agents
    • 问题
      • 长轨迹积累过时内容
    • 方法
      • SELFCOMPACT
      • 压缩工具
      • 轻量规则
    • 结果
      • 数学任务提升18.1点
      • 搜索任务提升5-9点

金句 / Highlights

值得收藏与分享的关键句。

#NeurIPS#LLM#上下文压缩#代理模型
打开原文

自压缩语言模型代理 - Apple 机器学习研究

研究领域

语音与自然语言处理

会议

NeurIPS

内容类型

论文

发布日期

2026年10月

自压缩语言模型代理

作者 Tianjian Li†, Jingyu Zhang†, William Jurayj†, Xi Wang†, Chuanyang Jin†, Mehrdad Farajtabar, Eric Nalisnick†, Daniel Khashabiâ€

查看出版物

复制Bibtex

由思维链和工具调用组成的长代理轨迹会积累过时内容，这些内容会锚定后续生成，最终超出上下文窗口容量。现有框架通过在达到令牌阈值时触发固定间隔压缩来缓解此问题。此类触发机制不考虑轨迹结构，存在在推导或搜索中途丢弃部分结果的风险。我们提出SELFCOMPACT，一种由模型自身决定何时以及如何压缩的框架。具体而言，它包含两个推理时组件：(i) 模型调用的压缩工具用于总结累积的上下文，(ii) 一个轻量级标准，规定何时触发（子任务已解决或轨迹正在收敛）以及何时抑制（推导中途或陷入停滞）。两者缺一不可。单独的工具在开源模型中使用不均，常在无用时刻被调用或完全不被使用；单独的标准无法执行操作。二者结合可在无需微调或外部监督的情况下实现有效的自适应压缩。我们在六个基准测试（竞争性数学和代理搜索）和七个模型上展示了实证结果。结果表明，SELFCOMPACT在令牌成本仅为固定间隔摘要的几分之一时，效果与后者相当或更优，在数学任务上比无摘要基线提升高达18.1分，在代理搜索任务上提升5-9分，且每题成本降低30-70%。我们的结果揭示了一个元认知差距：尽管未经提示的模型无法可靠判断自身上下文何时失效，但轻量级标准弥补了这一差距，将压缩时机重新定义为框架可提供的能力，无需训练。

  • †约翰霍普金斯大学

相关阅读与更新

RISED：面向代理多环境选择与自蒸馏的标准框架

2026年10月6日 研究领域 数据科学与标注 ，研究领域 语音与自然语言处理

在多样化交互环境中联合训练单一LLM代理作为通用代理的途径正引起越来越多关注。现有课程和数据选择策略通常在环境层面分配训练或优先考虑局部奖励信号，而未明确考虑跨环境当前执行之间的关系以进行提示组选择。同时，随着环境被学习……

阅读更多

从偏好到原则：基于标准的接地知识答案对齐

2026年8月27日 研究领域 方法与算法 ，研究领域 语音与自然语言处理

为开放域问答设计有效的奖励信号具有挑战性，因为高质量响应必须同时满足难以用整体标量目标捕捉的多个答案质量维度。我们引入基于标准的奖励框架，该框架生成基于检索证据的查询特定标准，并分解为多个质量维度，在……期间提供细粒度监督

发现机器学习领域的机遇。

我们的机器学习研究每天都在取得新突破。

与我们合作