InfoQ

Context Language Models: Self-Managing Context to Improve Performance and Reduce Compute Costs

6.9内容质量
Context Language Models: Self-Managing Context to Improve Performance and Reduce Compute Costs

TL;DR · AI 摘要

Context Language Models: Self-Managing Context to Improve Performance and Reduce Compute Costs - InfoQ InfoQ Homepage Ne...

核心要点

  • 主题聚焦：Context Language Models: Self-Managing Context t
  • 来源：InfoQ，建议结合原文判断细节。
  • AI 分析暂不可用，本条为保底评分与摘要。
#AI#编程#安全#产品
打开原文

上下文语言模型：通过自我管理上下文提升性能并降低计算成本 - InfoQ

InfoQ 首页 News 上下文语言模型：通过自我管理上下文提升性能并降低计算成本

AI、机器学习与数据工程

从 Token 到特征：为 AI 辅助工程构建成本归因架构（网络研讨会 10 月 29 日）

上下文语言模型：通过自我管理上下文提升性能并降低计算成本

2026 年 10 月 11 日 2 分钟阅读

作者：

  • Sergio De Simone

#### 关注我们

YouTube

232K 粉丝

LinkedIn

26K 粉丝

Instagram

新

RSS

19K 读者

X

57.1k 粉丝

Facebook

21K 点赞

Bluesky

收听本文音频 -

0:00

音频已准备就绪

您的浏览器不支持音频元素。

正常

1.25x

1.5x

点赞

新下拉阅读列表

  • 阅读列表

来自 Meta、MIT 和华盛顿大学的研究人员介绍了上下文语言模型（CLMs），这是一种新方法，使语言模型能够自主管理并编辑自己的上下文，而非依赖预定义的摘要、压缩和信息检索机制，报告称在性能和计算效率方面均有显著提升。

研究人员实现了一种机制，让大语言模型（LLMs）将上下文视为可以无限制更新的文件进行管理。这种方法为防止上下文无限增长的传统管理策略（如压缩、卸载和检索）提供了替代方案。每种技术都有其局限性：摘要可能丢弃关键细节或引入不准确信息，压缩通常依赖预定义规则，而外部记忆需要代理决定哪些内容需要带回上下文。

CLM 可以改写旧消息、保留重要事实、删除无关信息、维护进展记录，并学习自己的上下文管理策略。研究人员强调，LLMs 可以学习超越现有由人类设计的方法的策略，可能超越“现有的人类先验知识”。

通过将上下文管理从外部控制机制转移到模型内在行为，CLMs 自然支持上下文中的学习和参数化学习。我们首先证明用户只需告诉代理其期望的策略，即可引导上下文管理。此外，CLMs 可以演化出一个上下文技能文档，记录有用的上下文管理程序供未来复用。

CLM 可学习的新行为包括创建内部笔记、在保留有用中间结果的同时删除无关结果、跟踪失败实验并记录待进一步探索的想法等。

研究人员探索了三种不同的上下文管理方法。第一种是零样本上下文管理，CLM 未接受特定训练；第二种是上下文学习，CLM 通过自然语言指令学习如何管理上下文，并通过迭代技能优化循环完善策略；第三种是强化学习，CLM 以任务成功为主要目标、计算效率为附加优化标准，学习上下文管理策略。

研究人员在多个基准测试中评估了 CLMs，报告称在性能和计算效率方面均有显著提升。零样本 CLMs 实现了：

在 BrowseComp-Plus 上，准确率提高 11.4%，同时 FLOPs 减少 21.5%；在 12 小时 EdgeBench 任务中，得分提高 5%，FLOPs 减少 59%；在 24 小时多仓库代理群任务中，相同计算量下性能提升 65%

使用上下文学习的 CLM 在 ContextBench 任务中，通过更低的计算量将准确率提升了最高 35.9 个百分点。最后，强化学习将 Qwen3.5-9B 在 BrowseComp-Plus 上的性能从 28.8% 提升至 42.5%，相对提升了 47.6%，同时 FLOPs 减少了 12%

研究人员承认存在几个未解决的挑战。首先，CLM 可能会丢弃无法后续检索的重要信息。其次，允许 CLM 编辑自身上下文会引入新的安全风险，因为可编辑的上下文"可能成为另一种渠道，使提示注入或自生成指令在多轮对话中持续存在"。最重要的是，对上下文的更强控制并不必然转化为更好的行为，因为模型可能仍然会做出不良的决策，判断哪些信息需要保留、修改或丢弃。

在 X.com 上对这项宣布的评论中，@Rennix7t 警告称"论文中的准确率和计算能力结果来自特定任务"，而 @omarsar0 将这种方法描述为一个有趣的研究方向，但对完全端到端管理上下文的模型表示保留意见，认为仍需要更好的解决方案。

在 Reddit 上，Combinatorilliance 认为 CLM 尚未达到生产就绪状态，指出重写上下文会失效模型缓存，并认为"研究人员使用的缓存技巧[EN]也不是理想的方案，存在一些需要考虑的缺点"。

作者信息部分主容器

关于作者

章节标题

每位作者的主要信息容器

#### Sergio De Simone

显示更多

显示更少

#### 本内容属于 AI、机器学习与数据工程主题

##### 相关主题：

  • 开发
  • 架构与设计
  • AI、机器学习与数据工程
  • 大语言模型
  • 上下文工程
  • 相关编辑内容
  • 相关赞助商
  • 相关赞助商 2026 年 10 月 29 日，东部时间下午 1 点 从 Tokens 到 Features：为 AI 辅助工程构建成本归因架构 主讲人：Martin Reynolds - Harness 的现场首席技术官

InfoQ 新闻通讯

每周内容精选，每周二发送。加入超过 25 万名高级开发者的社区。查看示例

我们保护您的隐私。