Best practices guide for customizing Gemini models via Reinforcement Learning (RL)

自定义Gemini模型的最佳实践指南 | Google Cloud Blog

开发者与从业者

通过强化学习（RL）自定义Gemini模型的最佳实践指南

2026年9月26日

##### 软件工程师 Jiaqi Pan

Google 高级软件工程师

##### 产品经理 Kunal Jha

Google 高级产品经理

##### 今天即刻体验 Gemini Enterprise

职场人工智能的入口

[立即体验](#)

强化学习（RL）是现代大语言模型（LLM）后训练的基石，但其需要大规模训练集群和模型内部访问权限，而外部客户无法获取Gemini等专有模型的这些资源。因此在Google Cloud，我们将这一过程封装为托管的强化学习微调服务（RLFT服务）——您只需提供提示和奖励函数；我们负责基础设施和模型内部实现。

现在，您可以通过该服务对Gemini进行适配——通过您定义的奖励信号训练模型，而非依赖固定标注答案。这解决了监督微调（SFT）难以处理的一类问题：难以演示但易于评估的任务。

在本指南中，我们将逐步讲解使用强化学习微调服务的实用最佳实践。我们将从RL训练循环的简要概述开始，讲解如何判断何时使用RL，以及如何最大化该方法的价值。

什么是RLFT？

RLFT通过您定义的奖励信号而非标注答案来适配Gemini。您无需编写大量黄金示例，只需编写一个能对响应进行评分的程序，服务会根据该评分优化模型——这使您能够处理难以演示但易于验证的任务：您无法为每个数据库模式手写理想SQL，但可以通过运行查询并检查结果进行验证。

在每个训练步骤中，服务会针对您的提示生成多个候选响应，用您的奖励函数进行评分，并优化模型使高分响应更可能生成，同时保持与原始Gemini模型的接近性。实现这一过程的强化学习完全托管——您无需进行任何配置。您唯一需要掌控且决定结果的关键因素是奖励函数。

RLFT的能力和局限性由三个特性定义：

• 从模型自身输出中学习：它优化模型已生成的内容而非复制外部目标，因此对无关能力的干扰通常比SFT更小。

• 奖励结果而非路径：任何达成良好结果的响应都能获得奖励，这非常适合有多种有效解决方案的开放性任务。

• 放大现有能力：它能使偶发的成功变得可靠，但无法教授模型从未展示过的新技能。

何时使用RLFT

提示工程和SFT能处理大多数适配需求，请先穷尽这些方法。当您能评估响应但无法低成本生成、当SFT在关键指标（忠实度、模式有效性、语气）上遇到瓶颈、或当任务存在多个同样有效的答案时（单一参考答案会错误惩罚），RLFT才能发挥价值。

SFT和RLFT是互补而非竞争关系：

• 当基础模型已能部分完成任务（奖励函数足以区分优劣答案）时，直接使用RLFT。

• 两阶段SFT → 当拥有SFT数据或基础成功率过低时转向RLFT。将SFT作为快速、低成本的预热阶段——保持轻量化，因为过度拟合演示数据会限制RL的改进空间——随后通过连续调优（Continuous Tuning）进入RL阶段，该阶段从SFT检查点初始化RL训练。

在早期采用者中，这些模式展示了RLFT创造最大价值的场景——每个案例都实现了企业关注的成果，但此前却无法低成本地进行演示。

RLFT的应用场景

游戏中的AI驱动NPC

• 内容：通过长对话、多语言、多轮次对话实现符合角色设定和品牌调性的对话。

• 问题：现成模型破坏沉浸感——语言错误、虚构物品、忽略玩家、重复循环。

• 目标与奖励：Gemini自动评分器（LLM作为裁判）根据角色设定、对话流畅度和游戏状态语法对每轮对话评分，对格式和语言错误进行惩罚。

• 结果：循环和语言偏差消失，游戏状态语法保持稳定，使可部署的游戏角色在规模上成为可行方案。

结构化实体提取

• 内容：从非结构化文档（如供应商发票和运输清单）中自动提取指定项目到结构化记录。

• 问题：SFT效果停滞的长尾问题——遗漏必要字段（召回率）或虚构不存在字段（精确率）。

• 目标与奖励：基于规则的精确率/召回率奖励强制每个字段必须源自原文，而非模仿某个标准答案。

• 结果：在调优停滞的嘈杂真实文档中，字段级准确率显著提升，将人工审核步骤转变为自动化流程。

内容审核

• 内容：在大规模应用复杂政策和决策树。

• 问题：模型产生虚假正例或通过无效格式规避评估来获取奖励。

• 目标与奖励：Cloud Run奖励将格式验证与确定性评分器结合，强制执行多步骤政策合规。

• 结果：模型成功处理复杂豁免条款，显著减少误报，阻止奖励机制被破解——降低需要人工介入的审核量，从而降低审核成本。

通过执行效果评估的代码

• 内容：根据SQL或API调用是否能实际运行在客户数据上进行评分。

• 问题：SFT仅模仿参考查询，在未见过的专有数据模式上失效。

• 目标与奖励：代码执行奖励在安全沙箱中运行代码，只有在代码能编译、执行并返回正确结果时才给予奖励。

• 结果：模型生成首次尝试即可运行的高质量查询，推理成本更低，使非技术人员能通过自然语言查询专有数据。

通过HTML生成演示文稿

• 内容：以HTML/CSS编写多页幻灯片。

• 问题：仅基于文本训练会忽视视觉质量——溢出、裁剪元素和不一致的样式会被忽略。

• 目标与奖励：代码执行奖励渲染幻灯片并评分视觉设计、布局完整性、结构完整性和评分标准符合度。

• 结果：模型生成模块化、风格统一的主题一致幻灯片，无布局溢出问题。

从哪里开始？

• 一个数据集。一个包含验证集拆分的多样化提示数据集足以进行首次尝试——确认循环收敛且奖励机制朝正确方向发展后，再进行扩展。严格区分训练集和评估集；受污染的评估集会掩盖过拟合问题。

• 奖励函数。以代码或配置形式定义的任务规范，也是决定质量的核心因素。优秀的奖励函数应与人类偏好一致，能抵御格式错误输出（在解析失败时返回明确的负分而非崩溃），并防止奖励被滥用——采用集成评审机制、惩罚过长输出、限制退化输出，并优先选择可验证的检查而非模型的主观判断。在上线前务必离线验证。

该服务将处理其余工作；从默认配置开始，在控制台观察奖励和评估曲线，并在验证奖励达到饱和时保存检查点，而非选择最后一步的模型。

今天立即开始

您将构建什么？工具已准备就绪，等待使用。

• 文档：强化学习微调

发布于

• 开发者与实践者

• 人工智能与机器学习