We turned Claude Code, Codex, Hermes, Pi, @opencode and other coding harnesses into RL environments....

clem 🤗 在 X 上的推文："我们将 Claude Code、Codex、Hermes、Pi、@opencode 等多个代码框架转换为强化学习环境。无需对框架进行任何修改，也无需更改训练代码。任何开源模型、任何任务集，朋友们，完全开源！相同模型，相同权重：在 Mini-SWE-Agent 中表现低于 62%，在 Claude Code 中表现低于 33%。但通常在真实框架中训练意味着需要将其重新实现为环境，因此大多数模型都是在无人实际部署的框架中训练。解决方案是使用代理而非重写。框架认为它正在与模型 API 通信，实际上它正在与一个捕获代理通信，该代理支持四种编码代理使用的格式（OpenAI Chat Completions、OpenAI Responses、Anthropic Messages、Gemini），并将请求转发至 vllm_project，记录 vLLM 采样的精确 token ID 和 logprobs，并将 TRL 可用于训练的序列传递给训练器。框架即环境。今天有 10 个框架通过它进行训练，且均未做任何修改。而且由于你可以控制奖励函数，你可以塑造框架本身从未要求的行为。我们为使用更少工具调用解决任务添加了小奖励：在已经解决的任务上，模型现在在每个框架中使用的调用次数减少了 31%，在 Codex 中减少了约一半。在 liquidai 的 LFM2.5-2.6B 上进行了测试：→ 在一个框架中训练：主要在该框架中表现更好（OpenCode 34% → 58%）。→ 同时在 4 个框架中训练：在所有 4 个框架中表现更好（42% → 54%）。→ 相反使用 Qwen3.8-27B 的 3,189 个 rollout 进行 SFT：效果在 47.5% 处达到平台期，低于两个 RL 训练。所有内容均可复现：OpenEnv 中的捕获代理、TRL 中的训练器、任务、SFT 数据、训练代码以及所有 7 个训练模型。接下来将尝试更大的模型和更大规模的训练。完整指南：huggingface.co/spaces/FineEnv…

2:48 PM · 2026 年 10 月 5 日

·

78.1K

浏览量

140

160

1.3K

1.1K