InfoQ

Google OpenRL is an Experimental Self-hosted API for LLM Post-Training Fine-tuning

8.5内容质量
Google OpenRL is an Experimental Self-hosted API for LLM Post-Training Fine-tuning

TL;DR · AI 摘要

Google 推出 OpenRL，一个用于 LLM 微调的自托管 API，旨在简化强化学习流程并提升 GPU 利用率。

核心要点

  • OpenRL 允许在 Kubernetes 集群上运行多个 RL 任务，提升 GPU 利用率。
  • OpenRL 将基础设施与 AI 研究分离，使研究人员和工程师能专注于各自领域。
  • OpenRL 提供了自动化实验的示例，如 Gemma 模型的文本到 SQL 工作流。

结构提纲

按章节快速跳转。

  1. §引言

    Google 推出 OpenRL，一个用于 LLM 微调的自托管 API，旨在简化强化学习流程。

  2. ·OpenRL 的核心机制

    OpenRL 抽象了强化学习的基础设施，使机器学习团队可以在自己的 Kubernetes 集群上扩展微调工作流。

  3. ›挑战与解决方案

    强化学习流程中存在多个复杂问题，OpenRL 通过解耦基础设施与研究，使问题更易管理。

  4. ·OpenRL 的优势

    OpenRL 提升 GPU 利用率，并通过分离职责，使研究人员和工程师能专注于各自领域。

  5. ›自动化实验示例

    OpenRL 提供了 Gemma 模型的文本到 SQL 工作流的自动化实验示例。

思维导图

用一张图看清主题之间的关系。

查看大纲文本（无障碍 / 无 JS 友好）
  • Google OpenRL
    • 核心功能
      • 自托管 API
      • 提升 GPU 利用率
      • 分离基础设施与研究
    • 应用场景
      • LLM 微调
      • 强化学习
      • Kubernetes 集群

金句 / Highlights

值得收藏与分享的关键句。

  • OpenRL 抽象了强化学习的基础设施，使机器学习团队可以在自己的 Kubernetes 集群上扩展微调工作流。

    — 第 2 段

    ⬇︎ 下载 PNG𝕏 分享到 X
  • 传统 RL 循环是严格顺序的，这通常会导致 GPU 空闲，而 OpenRL 通过并行运行多个 RL 任务来提升 GPU 利用率。

    — 第 4 段

    ⬇︎ 下载 PNG𝕏 分享到 X
  • OpenRL 提供了自动化实验的示例，如 Gemma 模型的文本到 SQL 工作流，展示了如何通过自动化提升 AI 研究效率。

    — 第 6 段

    ⬇︎ 下载 PNG𝕏 分享到 X
#Kubernetes#LLM#强化学习#AI#Google
打开原文

Google OpenRL 是一个用于大语言模型（LLM）微调的实验性自托管 API - InfoQ

InfoQ 首页 News Google OpenRL 是一个用于大语言模型（LLM）微调的实验性自托管 API

AI, ML & Data Engineering

QCon San Francisco (Nov 16-20): 深度技术会议。改变你思维方式的同行对话。

Google OpenRL 是一个用于大语言模型（LLM）微调的实验性自托管 API

Jun 24, 2026 2 min read

by

  • Sergio De Simone

#### 为 InfoQ 写作

激发你的好奇心。

帮助 550k+ 全球

高级开发人员

每个月保持领先。

联系我

收听这篇文章 -

0:00

音频准备就绪

你的浏览器不支持音频元素。

正常

1.25x

1.5x

喜欢

新下拉阅读列表

  • 阅读列表

Google 的 GKE Labs 推出了 OpenRL，这是一个开源项目，提供在标准 Kubernetes 集群上对大型语言模型（LLMs）进行训练后微调的自托管 API。

Google 表示，OpenRL 将强化学习（RL）基础设施从 AI 研究中抽象出来，使机器学习团队能够在自己的集群上直接扩展训练后的流程。

根据 Google 工程师的说法，当使用代理强化学习处理 LLM 时，“很容易陷入系统复杂性中”。即使是一个单一的 RL 循环也需要处理许多移动部件：数据准备和清理、环境选择、训练循环调试、奖励设计、处理推理不一致、硬件配置以及管理底层基础设施。

每一个都是一个难题。但使问题更加复杂的是，目前的工具和框架中 AI 研究和基础设施问题紧密交织在一起。

Google 工程师认为，通过将基础设施与 AI 研究分离，这些挑战变得更加容易管理，使专门的团队能够专注于自己的领域，就像 Kubernetes 使基础设施抽象化并简化了应用程序开发人员和可靠性工程师的工作流程一样。

OpenRL 使训练后微调更加高效的一种方式是通过在你的基础设施上运行多个 RL 任务，从而提高整体 GPU 利用率。根据 Google 研究人员的说法，传统的 RL 循环是严格顺序的，这通常会导致 GPU 在等待 CPU 或网络任务完成时处于空闲状态，尤其是在奖励计算时。

此外，Google 指出，OpenRL 通过明确分离职责来改善用户体验：研究人员可以专注于开发 RL 循环，而工程师则负责执行和扩展训练后微调流程。

当你进行研发时，你不需要直接在配备 GPU 的机器上运行 RL 循环，你只需在 Mac 上运行你的 RL 循环，指向在 Kubernetes 集群/虚拟机上运行的训练 API。

OpenRL 仓库还包含一个自动研究配方，演示了如何在 Gemma 模型的文本到 SQL 工作流程中并行运行实验，以进行参数扫描和优化奖励信号。除了其实际用途外，Google 还将其作为自动化如何简化和扩展 AI 研究的示例。

OpenRL 可以轻松地在 macOS、Nvidia GPU 和 GKE 上使用。由于其与 Tinker 兼容的端点，它还与 Tinker-Cookbook 集成。

OpenRL 并不是唯一一个致力于通过更好地分离关注点来简化微调过程的努力。例如，FeynRL 确保微调配方和系统逻辑的分离，使研究人员更容易开发和测试新方法，同时仍然可以通过 DeepSpeed、Ray 和 vLLM 等工具实现这些方法的扩展。

作者部分的主要包装器

关于作者

部分标题

每个作者的主要包装器

#### Sergio De Simone

显示更多

显示更少

#### 此内容属于 AI、机器学习与数据工程主题

##### 相关主题：

  • 开发
  • AI、机器学习与数据工程
  • Kubernetes
  • 开源
  • Google
  • 模型微调
  • 大型语言模型
  • 相关编辑
  • 相关赞助商 理解 AI 代理安全性
  • 相关赞助商 使用 Promptfoo 对您的 LLM 应用进行自信的测试、评估和红队演练——发现回归问题、对模型进行基准测试，并更快地发布高质量的 AI 功能；立即开始测试您的提示。了解更多。

InfoQ 新闻通讯

每周二发送的 InfoQ 上一周内容摘要。加入超过 250,000 名高级开发人员的社区。查看示例

我们保护您的隐私。