Announcing new ways to customize models with SageMaker AI, without managing GPUs

宣布无需管理 GPU 即可使用 SageMaker AI 自定义模型的新方法 | 人工智能

宣布无需管理 GPU 即可使用 SageMaker AI 自定义模型的新方法

从 AI 中获得实际成果的公司不仅使用现成的基础模型（FMs）。它们通过强化学习等后训练技术对开源模型进行定制。在您的业务场景、产品目录或临床术语上训练的模型，对任务的准确性更高，运行成本更低。当您构建代理时，您的数据、工作流程、评估标准和成功指标也会影响模型的行为方式。

然而，模型定制具有挑战性。您必须选择合适的技术，搭建和管理 GPU 基础设施，并为代理构建多轮强化学习的环境。我们推出了 Amazon SageMaker AI 无服务器模型定制服务以解决这些挑战，今天，我们通过训练会话的正式发布进一步扩展了该服务。

通过训练会话，您可以在不管理底层基础设施的情况下控制后训练逻辑。您可以编写并协调训练循环，包括自定义损失函数或奖励信号。SageMaker AI 负责 GPU 分配、分布式执行、故障恢复和检查点存储。

无需基础设施管理即可进行定制

通过 SageMaker AI 无服务器模型定制，您无需选择实例类型、管理集群或编写分布式训练配置。

我们不希望限制您的选择。您可以使用 SFT、DPO、RLVR、RLAIF 或多轮 RL 等技术。您可以选择通过低秩适应（LoRA）或完整微调更新模型的范围，并通过连续定制将技术串联起来。

我们不希望您浪费时间。我们的 SageMaker AI 训练会话手册提供了示例、用例以及模型定制代理技能。您只需描述用例，代理将处理数据准备、技术选择、训练、评估和部署。代理可在您工作的任何环境中运行，包括 SageMaker Studio、Kiro、Claude Code、Codex 或 GitHub Copilot。

“我们采用 SageMaker AI 无服务器训练会话构建了一个医疗索赔拒绝分类模型，从第一天起该平台就通过了验证。底层 API 接口、对前向和反向传播、采样和优化器步骤的直接控制，为我们的科学家提供了在高精度关键任务上进行强化学习所需的精细控制。训练会话为我们提供了实现生产级性能所需的正确基础模块。” —— ImagineSoftware 数据科学高级副总裁 Rob Gontarek

编写自己的后训练循环

代理训练的一个重要转变是转向多轮强化学习。例如，一个预订旅行、分类支持工单或执行多步骤研究任务的代理，需要经过多轮交互后才能判断其是否达到预期结果。

然而，训练循环可能很快变得复杂。您可能需要在一组基础设施上训练模型，在另一组基础设施上运行推理以生成响应，对这些响应进行评分，并将结果反馈到下一次更新中。每个阶段需要不同的计算资源，而通过不同工具和集群连接它们会增加工作量。

SageMaker AI 已经作为托管式无服务器技术提供多轮强化学习（RL）。但我们收到客户反馈，他们希望在单个循环中自定义损失函数、塑造奖励信号或定义 RL 阶段。训练会话功能为用户提供了这种灵活性。

“通过 SageMaker AI 无服务器训练会话，我们针对 Amazon Neptune 知识图谱对 gpt-oss-20b 进行了精细化调优，实现了多轮工具调用的智能代理功能。平台为我们处理了所有基础设施，设置过程无缝衔接，无需手动调整，也无需处理内存溢出问题。检查点恢复功能尤为突出：从精确步骤恢复完全可靠。它既为开发人员提供了所需的灵活性，又将运营负担从他们肩上卸下。” —— Karini AI 首席执行官 Nitin Wagh

工作原理

您的代码在环境中运行训练循环和奖励函数，并将智能体连接到其工具或模拟器。训练会话执行 GPU 密集型任务：采样器生成响应，训练器计算梯度并更新模型权重。具体顺序取决于您编写的算法。

以 Group Relative Policy Optimization（GRPO）实现为例。GRPO 是一种强化学习方法，它为相同提示生成多个响应，对它们进行评分，并利用它们的相对表现来更新模型。一次循环的完整流程如下：

• 生成响应 – 您的循环要求采样器使用当前模型为每个提示生成多个响应。

• 评分 – 您的奖励函数通过验证器、奖励模型或测试工具在环境中对每个响应进行评分。

• 更新模型 – 您的循环将评分发送回训练器。forward_backward() 使用这些评分计算梯度，optim_step() 将更新应用到模型权重。

• 刷新并重复 – 您的循环要求会话使用更新后的权重刷新采样器，然后开始下一批处理。您的代码重复这些步骤直到训练完成。

您按 SageMaker AI 处理的 token 数量付费。当您的奖励函数在环境中对一批数据进行评分时，计费暂停，且没有预留容量限制。

保持对数据和模型的控制

每个会话使用您创建的 AWS 身份和访问管理（IAM）执行角色，您可以添加自己的 AWS 密钥管理服务（AWS KMS）密钥和虚拟私有云（VPC）配置。您的数据保留在您选择的 AWS 区域的 Amazon 简单存储服务（Amazon S3）存储桶中，检查点也存储在相同位置。

我们不会使用您的数据或自定义权重来训练其他模型。部署前，您可以评估模型的准确性、偏见和安全性。部署后，您可以应用防护措施并通过 Amazon CloudWatch 进行监控。

您可以继续使用团队已有的治理流程。

立即开始

今天即可在 SageMaker AI 无服务器模型定制训练会话上编写自己的训练循环，目前支持 gpt-oss-20b、gemma-4-31B-it、Qwen3.6-27B 和 Qwen3.8-27B。

两种方式立即开始：

• 在您的 IDE 中：安装 SageMaker Python SDK（Linux 或 macOS 上使用 Python 3.10 到 3.12），克隆示例代码库，然后开始开发。

• 在 SageMaker Studio 中：在不到 20 秒的时间内启动一个即用型 AI 开发环境。登录后，打开笔记本，连接你的编码代理（Kiro、Claude Code、Codex 或 Copilot），下载代理技能包和食谱，即可开始工作。

资源

阅读完整技术文章

训练课程示例

训练课程文档

训练课程食谱

关于作者

'"`