Agent Lightning v1.0: A 3,500-Line Lightweight Agentic RL Framework for Training Agents with Real Harnesses

Agent Lightning v1.0：一个3500行的轻量级代理强化学习框架，用于使用真实执行器训练代理 - 微软研究院

/.itemprop=publisher

/itemprop=image

Agent Lightning v1.0：一个3500行的轻量级代理强化学习框架，用于使用真实执行器训练代理

2026年10月7日发布

作者：何志远，研究软件开发工程师II；杨宇青，首席研究SDE经理

分享本页

• 在Facebook上分享
• 在X上分享
• 在LinkedIn上分享
• 在Reddit上分享
• 订阅我们的RSS源

/#single-header

一目了然

• 受控代理强化学习：微软亚洲研究院引入了一种训练范式，其中部署时使用的相同代理执行器直接参与强化学习，无需在训练框架中重新实现代理。

• 设计轻量化：Agent Lightning v1.0在约3500行代码中实现了完整的代理强化学习控制平面。

• 原生Kubernetes支持：代理作为标准Kubernetes作业在自托管集群、云Kubernetes或本地基础设施上运行，无需依赖付费商业沙盒服务。

• 数据高效的训练方案：基于开源数据集的端到端编码代理流水线，仅使用约6000个训练样本，将Qwen3.5-9B在SWE-bench Verified基准上的Pass@1指标从41.8%提升至56.4%，提升了14.6个百分点。

AI代理已从单一模型演进为由模型、工具和执行环境构建的复杂全栈系统。其能力越来越依赖于从模型外部协调它们的代理执行器。强化学习（RL）是一种通过试错学习的AI系统方法，通过奖励和惩罚指导其行为。RL可以使这些代理更优秀，但大多数代理RL系统要求开发人员在训练框架中重新实现代理。这成本高昂，意味着训练的代理与实际部署的代理并不完全一致。

为解决这一问题，微软亚洲研究院的研究人员引入了受控代理强化学习训练范式，并开源了全新构建的Agent Lightning v1.0（在新标签页中打开）。与原始版本相比，v1.0更强调保持轻量化、与真实执行器集成，以及提供完整可复现的代理RL训练流水线。

Agent Lightning v1.0围绕受控代理强化学习重新构建，关键改进包括：

• 轻量化设计：整个框架约3500行代码。Agent Lightning v1.0在足够简洁清晰的代码库中实现了完整的受控代理强化学习系统，便于理解、修改和扩展。

• 基于真实代理执行器的训练：代理通过Agent Lightning v1.0中的大语言模型（LLM）代理与模型通信，无需修改现有执行器代码。

• 原生Kubernetes支持：代理直接作为Kubernetes作业运行，无需外部商业沙盒服务。自托管集群和本地基础设施均可支持大规模部署。

• 完整的编码代理训练示例：基于Qwen3.5-9B构建的端到端流水线，仅使用约6000个训练样本，就将SWE-bench Verified基准的Pass@1指标从41.8%提升至56.4%，绝对提升14.6个百分点。

传统代理强化学习的局限性

传统智能体强化学习假设训练框架掌控与环境的交互循环。在ReAct风格的循环中，模型生成一个动作，环境返回一个观测结果，观测结果被追加到上下文中，模型随后生成下一个动作，因此整个交互过程映射到一条连续的token轨迹上。早期的RL系统如verl、AReaL和slime均采用这种设计，这意味着训练智能体需要在RL框架内部重建其交互循环。

真实代理系统已突破这一假设。当前的编码代理（如mini-SWE-agent、OpenHands、OpenCode、Claude Code和Codex）以及通用代理系统都各自实现了独立的上下文管理、工具协议、执行逻辑和依赖关系。为训练而重建代理系统成本高昂，且重建后的代理行为可能与部署时的代理存在差异。

Agent Lightning采用了不同方案。它在代理与模型之间引入了一个LLM代理层。代理系统继续以原有方式运行：只需将原本调用模型API的端点指向Agent Lightning，训练框架即可观测并记录其模型调用。在v1.0版本中，研究者进一步将这一范式正式定义为"受控智能体强化学习"（Harnessed Agentic RL）：部署时使用的任何代理框架都会直接参与训练阶段的强化学习过程（图1）。

图1. 传统智能体强化学习与受控智能体强化学习的对比。在传统方法中，训练框架管理环境和代理循环；在受控方法中，代理框架同时管理两者。

使用真实代理进行训练的四大挑战

受控智能体强化学习与传统智能体强化学习的核心差异在于，环境交互循环由代理框架而非训练框架处理。训练系统只能观测到一系列LLM请求和响应对，因此单次交互可能被分割成可变数量的训练样本。这带来了四个关键挑战：

• 重新分词与样本合并：代理框架以文本形式保存上下文，但强化学习训练需要交互过程中采样的token ID。通过聊天模板和分词器再次处理文本可能导致token边界偏移，因此相邻调用无法始终合并为一个样本。

• 优势计算：重新分词、子代理和上下文摘要可能导致单次交互被分割为多个样本。在样本层级直接计算基线和优势值会使生成更多样本的交互被重复计数，从而改变交互层级的原始统计关系。

• 损失归一化：按样本数量平均损失会使生成更多样本的交互获得更大权重。由于样本数量通常只是代理行为的产物，损失归一化也必须避免因此产生偏差。

• 训练后端调度：只有在代理框架完成执行后才能获知样本数量和长度，而GPU数量和数据/张量并行配置通常是固定的。后端必须将可变的工作负载映射到固定资源上。

聚焦：事件序列

微软研究院论坛

加入我们，持续交流通用人工智能时代的研究思想。随时观看最新剧集。

[点此观看](#)

/.msr-promo__content

/.msr-promo__inner-wrap

（新标签页打开）

/.msr-promo

用3500行代码构建完整的智能体RL控制平面

在系统设计中，Agent Lightning v1.0将简洁性作为其首要原则。整个框架约有3500行代码，包含三个核心组件：API网关、Rollout控制器和定制训练器（图2）。

API网关存储rollout、模型和事件，并作为兼容OpenAI的LLM代理。它将harness中的每个模型调用链接到对应的rollout，记录训练所需提示、响应和日志概率。Rollout控制器启动并管理代理执行，既可以作为本地进程运行，也可以作为标准Kubernetes作业运行，将代理执行与训练器分离。基于verl构建的定制训练器创建rollout，等待其完成，收集样本并通过样本适配器组装最终训练样本。因此，对于现有代理harness，只需将模型端点指向Agent Lightning代理，通常即可快速连接到强化学习训练。

图2. Agent Lightning v1.0系统架构展示API网关、rollout控制器和定制训练器。

共置异步RL

不同代理的rollout时间差异较大。同步RL需要等待批处理中最慢的代理，导致GPU空闲，而完全异步RL虽然提高了利用率，但需要为rollout和训练分别设置独立的GPU池。为此，Agent Lightning v1.0引入了共置异步RL，使rollout和模型更新可以共享同一组GPU。

当系统收集到足够多的rollout后，更新过程开始：API网关暂停接收新请求并等待正在进行的请求完成，更新完成后rollout恢复执行。整个状态转换对外部代理harness完全透明。在实验中，这种方法相比同步RL实现了约2倍的端到端加速，同时使用的GPU数量少于传统异步RL（图3）。

图3. 同步RL、异步RL和共置异步RL对比。共置异步RL在占用更少GPU的同时提高了利用率。

在Kubernetes上运行代理

收集足够多的rollout意味着需要同时运行大量代理，这会消耗大量CPU、内存和计算资源。其他基于代理的强化学习框架通常使用Modal Sandbox或E2B等商业沙箱服务托管这些代理，但随着规模扩大成本会迅速上升。相反，Agent Lightning v1.0将其作为标准Kubernetes作业运行，复用现有自托管集群、云Kubernetes或本地基础设施（图4）。现有计算资源得到更高效利用，大规模rollout成本更低，整个流程保持开源和可复现。

图4. Agent Lightning v1.0的Rollout控制器提供原生Kubernetes支持，直接作为标准Kubernetes作业运行代理。

6000个训练样本，14.6个百分点的性能提升

为验证该方法，研究人员在SWE-smith、mini-SWE-agent和Qwen3.5-9B上构建了完整流水线，涵盖数据清洗、环境构建、奖励黑客防护和强化学习训练。训练集包含约6000个样本且无需大规模计算资源。仅强化学习训练就将Qwen3.5-9B在SWE-bench Verified上的性能从41.8%提升至56.4%，提升了14.6个百分点。

编码代理实验进一步验证了之前对两个挑战的分析：优势计算和损失归一化。与基于样本级别的处理相比，基于rollout级别的优势计算结合rollout级别的归一化方法能够实现更高的验证奖励，并在训练过程中保持策略熵的稳定性（图5）。

图5. Qwen3.5-9B在SWE-smith验证集上的通过率和策略熵。

技术报告

GitHub项目

相关出版物

卡片

Agent Lightning v1.0：迈向可控的智能体强化学习

认识作者

卡片列容器

卡片主体

贺智远

研究软件开发工程师II

卡片页脚

了解更多

杨宇青

首席研究软件开发经理

研究领域

• 人工智能

• 系统与网络

研究团队

• 微软亚洲研究院 - 上海

• MSRA（上海）系统与工程组

相关实验室

• 微软亚洲研究院