Together Post-Training: frontier-grade model shaping, the way that fits you

Together Post-Training：前沿级模型塑造，量身定制的方式

我们推出 Together Post-Training 服务，这是在我们的平台上构建自定义模型的新方式——既可通过强化学习（RL）的环境奖励，也可通过监督学习（SFT）的监督数据进行训练。该服务旨在为您提供灵活高效的模型塑造方案，无需承担重型基础设施的负担。

Together Post-Training 让您轻松定义训练循环，而我们则在底层系统和基础设施方面进行协同优化，以提升模型质量和训练速度。现在，没有任何障碍会阻碍您获得专属于您的最佳模型。

自定义模型的价值

到 2026 年，为 AI 工作负载训练自定义模型将不再是小众话题。企业正积极探索这一方向，以降低成本并提升特定任务的性能。与通过上下文或工具工程来固定模型行为并提高效率的方式不同，许多原生 AI 和前瞻性 AI 的组织正在训练专业代理，其质量可与前沿模型媲美，但成本和运行时间仅为后者的一小部分。此外，自行训练模型可带来更大的所有权和灵活性：生成的检查点可部署在任何位置，进一步优化，甚至可以本地使用。

在 Together，我们希望以最便捷的方式，为每位 AI 开发者提供最适合其任务的最佳模型。训练出优秀的模型需要在数据筛选、训练算法和评估协议上进行多次迭代。更复杂的是，强化学习的基础设施正变得越来越复杂，"效率优化"与"导致训练停滞的隐蔽错误"之间的界限非常微妙。在大规模可靠地训练大型模型时，还面临自己独特的挑战。

前沿实验室通常需要整个团队来解决上述每个问题。由于同时解决所有挑战需要大量投入，许多本可以受益于后训练的公司从未开始，或开始后停滞不前。Together Post-Training 会处理所有优化和基础设施，而不会造成干扰，我们的前线部署团队与客户合作，协助完成端到端的工作流程。这使每位研究人员或领域专家都能专注于自己最擅长的领域，而我们将处理其余部分。

Together Post-Training 一览

随着后训练复杂性的持续演变，围绕它的工具也应随之改进。Together Post-Training 为 ML 开发者提供了熟悉的通用抽象，同时允许对每个实验使用的资源进行控制，确保所有底层计算都快速、成本高效，并且最重要的是正确。

我们构建的服务为您的实验提供了最大程度的灵活性。您可以运行 LoRA 训练，包括多个 LoRA 适配器共享同一 GPU 容量，也可以为特定模型运行全权重实验。与我们的微调服务不同，Together Post-Training 的整个训练循环由您定义。您可以使用最适合您设置的任何数据、环境或代理工具，并在整个训练过程中添加任何需要的步骤（如日志记录或外部基准测试）。整个工作流程如下：

使用 Together Post-Training 的高级概述。左：用户端执行的命令，右：Together 服务端运行的组件。

所有实验均在模型资源（Model Resources）上运行——这是专属于您的GPU分配，不会与其他用户的请求竞争优先级。每个模型资源可以承载一个或多个训练会话（Training Sessions），每个会话对应使用相同基础模型的单个实验（例如一组LoRA适配器）。这意味着您可以获得最佳的推理和训练性能，因为您无需与其他用户在相同硬件上竞争。同时，专用GPU分配使您能够运行全权重微调，即使在需要处理大规模知识密集型任务时也能超越LoRA的限制。

一旦分配模型资源并启动会话，您可以执行训练循环的每个步骤。每个会话包含一个Trainer实例，负责运行前向/反向传播步骤并更新权重，同时还包含用于从策略执行推理的Generator实例。对于每个模型，我们对训练和推理性能进行了深度优化，确保所有操作在各组件间保持快速且数值一致。在SFT场景中，您可以将模型资源的Generator数量设为0以节省成本。您决定将训练参数发送给Generator的时间点；我们还支持异步强化学习，以确保两个组件在所有时刻（尤其是长时间智能体推理时）都能实现高GPU利用率。

虽然我们支持多种标准损失函数（从交叉熵和GRPO到CISPO和DPPO），但也允许您在本地计算自定义训练目标，并将梯度发送给Trainer以进行参数更新。

来自Together Post-Training文档的自定义损失训练示例

Together Post-Training首批支持多种领先的开源模型，包括Muse Spark Open、GLM 5.3、Kimi K3和Qwen 3.8-27B。未来几周我们将扩展模型选择，确保您既能使用能力最强的前沿大语言模型，也能使用高效的轻量级模型。

质量、性能与效率

将微调基础设施的内部实现委托给第三方可能是一个令人却步的决定。我们的团队拥有在复杂机器学习系统中发现隐蔽错误的第一手经验，从推动强化学习研究前沿到训练服务数百万用户的LLM。我们深知最佳训练栈是能帮助您获得最佳模型的系统，而构建这样的基础设施需要对所有组件进行精心实现和协同设计。

出于这些原因，我们在服务开发中始终将输出模型的质量作为核心目标。影响强化学习结果的一个典型问题是训练与推理引擎之间的对齐：如果相同模型权重因数值不匹配产生略微不同的输出，整个训练过程可能会表现不佳甚至崩溃。我们通过标准技术（如Rollout Routing Replay）和基于训练稳定性的研究优化，消除了训练与推理过程中大量可能导致策略偏移的源头。

除了模型质量，我们还致力于让每次训练运行尽可能高效快速，因为微调需要多次迭代：运行结束得越快、成本越低，就能测试更多想法。在强化学习中，大部分时间都花在生成rollout上，这使我们能够利用Together推理产品多年来的研究和工程成果。我们的rollout引擎利用了与服务堆栈相同的优化。对于多轮代理，智能缓存和路由可减少冗余计算，同时保持内存成本可控。在训练方面，优化的并行性和序列打包加速了SFT和RL步骤。

使用Together微调服务，您可以根据实验需求精确配置资源，不会产生额外费用。如果实验因rollout并发性成为瓶颈，您可以指定所需的采样器副本数量。多个LoRA实验可以共享同一模型资源，因此运行参数扫描无需为每个配置预留更多GPU。我们按GPU分钟计费模型资源，但得益于专为多LoRA服务优化的推理栈，当实验规模扩大时，训练总成本会低于基于token的计费方式。

训练后的优化部署

当微调实验完成后，可能需要并行运行每个生成的模型以对比输出结果。现在我们支持Dedicated Model Inference中的多LoRA适配器服务：无需为每次运行单独部署生产环境，您可以在单个GPU部署中按需切换适配器，从而降低服务成本。

最后，将模型转换为生产环境的最高吞吐量运行时，可能会使用更低精度、不同硬件配置和不同内核，与rollout生成时的设置不同。通过算法和系统层面的改进组合，我们确保每个训练检查点在切换到FP4精度的完全优化合并推理后，仍能保持服务质量。

入门指南

要开始您的首次微调实验，请安装最新版Together SDK并阅读文档。我们还提供了一系列教程帮助您快速上手Together微调服务，可在github.com/togethercomputer/post-training-cookbook获取。这些教程包含在标准GSM8K基准上使用GRPO训练、实现自定义DPO损失函数，或在同一个模型资源中训练多个LoRA适配器的示例。如果您已有使用Tinker API等微调服务的配置，我们还提供简单的迁移方案：只需在脚本中替换一行代码，其余内容保持不变：

-import tinker
+import together.post_training.tinker as tinker

阅读我们的Tinker迁移指南了解更多细节。

当前AI原生企业如何使用Together微调服务

在本次发布之前，我们与一小部分致力于定制模型前沿研究的组织合作。过去几个月我们向他们提供了早期访问权限；收到的反馈对产品开发至关重要，现在所有人都可以使用这项服务。听听这些团队的亲身经历：

“从第一天起，我们就对Together Post-Training平台有着非常出色的合作体验。高度的控制权和灵活性让我们能够在几小时内就开始运行真实的强化学习实验。该服务效率很高，使我们能够在同一GPU容量下同时运行多达五个强化学习实验。在整个训练过程中，Together Research团队始终是出色的合作伙伴，他们在模型选择、训练技术、奖励函数和训练效率等方面为我们提供了宝贵的反馈。”

– Deel数据科学副主任 Anthony Li

“在Jack & Jill，我们构建了两个AI代理：Jack面向专业人士，Jill面向公司，Jill会从Jack网络中已同意被介绍的专业人士中招募人才。我们使用Together Post-Training对一个模型进行后训练，该模型可预测招聘经理希望会面的候选人，这是Jill搜索过程中的关键步骤。平台的入职流程非常简单，他们的团队帮助我们设计实验，其部署的工程师编写了使我们快速获得首次结果的脚本。在离线评估中，我们使用一个显著更便宜的开源模型，达到了与闭源模型相当的质量。”

– Jack & Jill联合创始人工程师 Oliver Normand

“自2024年4月Together Post-Training beta版发布以来，我们就一直与Together团队合作。在最新版本中，无缝的自助入职流程使我们能够快速启动大规模的智能体强化学习任务。Post-Training服务已被证明在扩展复杂智能体工作负载方面具有极其直观、灵活和强大的功能。”

– Collinear AI研究员 Adit Jain

使用Together Post-Training构建

随着Together Post-Training的推出，我们将前沿级模型定制转化为可靠、灵活且高效的平台服务。下一步就是由您来充分利用这一服务。在前八周内，我们将以每小时B200 GPU使用量9美元的优惠价格提供Together Post-Training服务。立即了解如何开始使用——我们期待看到您将构建出什么。

但您不必独自完成这一切。对于希望寻找合作伙伴的企业，我们部署的工程师将全程与您的团队协作，贯穿整个后训练生命周期。他们将从帮助您选择合适的开源模型和智能体工具开始，协助您处理数据和训练环境，最后帮助您进行评估并部署优化后的端点。

如果您希望与Together合作，为您的组织训练模型，欢迎随时与我们联系。