AutoSynthData: Generating Training Data for Enterprise Agents

AutoSynthData：为企业代理生成训练数据

返回文章列表

[0

[-1

企业

]

文章

发布于2026年10月2日

点赞

19

[

• +13

Esakkivel Esakkiraja

esakkivel

关注

ServiceNow-AI

Shruthan Radhakrishna

shruthan-r

Denis Akhiyarov

dtanow

Sagar Davasam

davasam

企业需要能够在自身环境中高效运行的代理。这些代理执行的任务由其使用的系统、遵循的规则以及数据状态所决定。一个模型可能具备广泛能力，但仍可能在特定环境中表现不佳：处理某个工作流程效率低下、错误使用工具组合，或未能遵守约束条件。这些正是企业需要改进的弱点。

将这些弱点转化为训练数据存在难度。单个失败案例能提供一定信息，但训练模型需要大量新任务，这些任务需在不同情境中锻炼相同能力。这些任务也必须能在环境中完成、符合实际工作请求，并具备可靠方式验证代理是否成功。

在ServiceNow CoreAI，我们构建了AutoSynthData，将这些能力差距转化为训练数据。该工具利用目标模型的失败案例和更强教师模型的成功案例，决定模型下一步应学习的内容，然后生成并验证能锻炼这些能力的新任务。随着模型能力提升，训练内容会逐步转向其仍感到困难的领域。我们以EnterpriseOps Gym（Malay等，2026）为例说明该流程，并使用公开数据集进行演示。首先我们将描述代理运行的环境及构成有效训练任务的关键要素。

什么构成有效的代理任务？

代理环境定义了代理运行的世界：其可观测和可修改的状态、可调用的工具和API，以及其操作产生的状态转换。

任务在该环境中实例化。我们使用以下抽象表示：

task = (系统规范，用户提示，验证器)

系统规范

系统规范定义了代理运行的约束条件，包括系统指令、环境策略，以及在适用时的任务特定初始化设置（如预设数据库状态或知识库集合）。

该规范必须与环境工具、状态和支持操作兼容。其指令应清晰明确，避免仅为了制造难度而引入的任意约束。

面向代理的任务

用户提示指定了用户希望代理完成的目标及任何用户级约束。生成的任务应满足三个特性。

可行性。当前环境中应存在至少一条满足用户提示且符合系统规范的轨迹。这排除了依赖不可用工具、无法访问的知识、不可能的状态转换或被策略禁止的操作的任务。

真实性。用户提示应类似于目标环境中用户可能实际提出的请求。可执行行为空间通常远大于真实工作流空间。

难度。对于训练而言，任务应暴露当前代理的弱点。已能可靠解决的任务提供有限的新训练信号。因此，有效任务区域是那些既可行又真实，但尚未被持续解决的任务。

验证器

验证器用于判断生成的轨迹是否成功完成任务。它需要满足三个特性。

一致性。它应与用户提示、系统规范和任务特定的环境状态保持一致。

正确性。它应拒绝无法满足任务或违反相关约束条件的轨迹。

完备性。它应接受有效的解决方案，而不是编码特定的参考轨迹。

这些特性在训练过程中具有直接影响。过于宽松的验证器可能会奖励错误行为，而过于严格的验证器可能会惩罚有效解决方案。

概述

给定一个环境和目标模型，AutoSynthData 会生成由系统规范、用户提示和验证器组成的训练任务。生成的任务基于环境，并经过筛选以提供对当前模型有用的训练信号。

AutoSynthData 首先使用诊断任务在环境中评估目标模型，并识别出模型难以完成的任务中的模式。更强的教师模型有助于明确哪些任务是可解的，以及成功行为的特征。AutoSynthData 将这些能力差距转化为新的可执行任务，在环境中检查每个任务，并使用通过验证的样本进行后训练。评估更新后的模型可以揭示剩余的能力差距，并指导下一轮生成。

从模型失败到课程学习

AutoSynthData 通过在目标环境中运行评估任务，识别模型下一步需要学习的内容。在我们的 EnterpriseOps Gym 实验中，我们同时在评估任务上运行目标模型和更强的教师模型。我们分析这些运行结果以确定：

• 被测试的能力；
• 涉及的工具和工作流结构；
• 目标模型失败的位置以及教师模型如何成功；
• 正确最终状态必须满足的属性；
• 在保持被测试能力的前提下可以变化的维度。

我们将这些发现提炼为经过净化的能力规范卡片。评估任务指导模型应该学习的内容，但生成器不会接收到原始提示、实体、轨迹或验证器细节。它会接收这些卡片，并利用它们创建具有不同提示、状态和解决方案路径的新任务。

生成和扩展任务

识别能力差距告诉我们需要教授什么，但训练需要大量多样化的任务来锻炼该能力。AutoSynthData 使用规范卡片生成这些任务。

假设目标模型在需要以下工作流的任务上遇到困难：

生成器会创建新的任务来锻炼这个工作流，通过改变实体、初始环境状态、工作流组成、工具组合、措辞和难度来实现多样性。更强的教师模型随后为每个任务演示成功的轨迹。对于监督微调（SFT），这些演示教会目标模型如何在新情境中应用该能力。

AutoSynthData 分两个阶段构建数据集：首先生成和验证核心样本，然后将其扩展为新的变体。

目标阶段根据能力规范生成核心的训练样本集。工作者并行生成独立任务，完成当前任务后会立即领取新目标。每个候选样本需通过验证、执行、求解器评估和修复流程后才能被接受。最终产出的结果是围绕目标模型需要学习内容构建的一批经过验证的示例。

乘法阶段

乘法阶段通过创建已接受目标样本的新变体来扩展数据集。每个变体都拥有独立的用户请求、环境状态、实体配置、参考轨迹和验证器，且必须通过相同的验证和执行检查。乘法样本不能作为其他乘法样本的种子。这一设计将扩展范围锚定在已验证的目标样本集上，同时限制跨代的偏差扩散。

实现细节

为支持两个阶段，AutoSynthData将生成控制与环境特定执行分离。共享控制器负责协调生成、质量控制、覆盖率和数据集构建，而适配器则处理环境执行、任务和状态管理、参考轨迹回放、确定性验证、求解器执行以及任务性能分析。

并行的目标生成与乘法机制共同提供了生成训练规模数据集的可行路径。其实际效果取决于对每个候选样本实施的检查：任务必须可执行，解决方案必须有效，验证器必须能准确区分成功与失败。

高质量合成数据需要更多维度的保障

生成看似合理的请求本身不足以产出有用的训练数据。目标环境可能无法执行该任务，参考解决方案在运行时可能失败，或验证器可能错误地奖励非预期的最终状态。AutoSynthData在接受任务用于训练前会检查这些属性。

AutoSynthData从两个层面确保质量：单个候选样本必须通过验证，批次数据必须提供有用的覆盖率和多样性。

样本级验证与修复

每个候选样本必须通过质量控制流程才能进入训练数据集。我们首先进行求解器评估以衡量难度。在当前配置中，我们倾向于选择目标模型在三次尝试中最多仅能解决一次，而更强求解器在三次尝试中至少能解决两次的任务。候选样本还需经历正向验证、负向验证和有限次数的修复流程。

#### 正向验证

正向验证环节提出问题：预期解决方案能否解决生成的任务？

该流程在目标环境中执行参考轨迹，并将结果状态与候选样本的验证器进行比对。这能揭示提示语、初始状态、解决方案和成功标准之间的不匹配问题。

#### 负向验证

负向验证环节提出问题：相关错误结果是否能正确失败？

例如，可以通过修改预期结果的部分内容，并确认这些状态不再通过验证。这能识别出那些在未满足预期行为时仍错误奖励成功的弱验证器。

#### 批评与修复

失败的候选样本在被丢弃前会先经过批评环节。批评者会检查样本及其失败原因，寻找状态不一致、不可行的工作流、错误的任务构建、不良的参考轨迹、薄弱的验证器逻辑或与预期能力不匹配等问题。批评者的发现将指导修复工作，且重试次数有固定限制：

候选
↓
失败
↓
批评/诊断
↓
针对性修复
↓
再次运行门禁检查
↓
接受或重试

修复后的任务必须再次通过相关检查。诊断会指导对现有候选任务的修复，而不需要从头开始生成新任务。

通过这些检查使样本具备训练资格，但单个有效的样本仍可能形成重复或不平衡的数据集。因此 AutoSynthData 还会在批次层面审查生成内容。

批次层面审查

一个批次可能过度代表少数简单任务家族，遗漏某种能力，或反映出过多的生成资源被浪费在低产出模式上。

元审查会分析每个批次中被接受的样本、被拒绝的样本以及生成行为。它会提出以下问题：

• 哪些任务家族被过度代表？哪些能力维度缺失？
• 是否反复出现相同类型的示例？
• 特定目标是否持续生成失败？
• 批评中是否出现系统性问题？
• 下一批次需要调整哪些指导原则？

控制器会跟踪已接受数据集的覆盖率，在过度代表的区域减少生成，并将更多工作导向能力缺口。当某个区域反复生成质量低的候选任务时，批评和元审查会引导生成策略的调整。这些调整在可用生成预算和数据集规模要求内，平衡有用的学习信号、任务质量、覆盖率、多样性和低冗余度。

这些反馈循环同时改进单个任务和它们构成的数据集：样本级检查指导候选任务修复，而批次级审查指导未来的生成。

推动训练前沿

随着模型能力的提升，有用的训练分布也会发生变化。AutoSynthData 将合成数据生成视为在目标模型能力边界附近寻找任务的过程：难度足够以暴露弱点，但又足够简单让教师模型能提供可靠演示。

在微调后，我们会用相同环境评估更新后的模型。现在能可靠解决的任务对下一轮训练价值较低；持续失败则指向仍需关注的能力。这些结果可以指导下一轮生成。

我们的实验聚焦于SFT，但相同机制也可支持强化学习（RL）：生成挑战当前策略的任务并提供可靠学习信号，训练后根据更新后的策略调整生成目标。我们计划在SFT之外测试这种动态调整、难度校准的前沿机制。

EnterpriseOps Gym 实验

我们使用 EnterpriseOps Gym 测试该方法是否能提升模型在状态化企业环境任务中的表现。我们在 Gym 的 Hybrid 和 ITSM 环境中生成训练任务，用被接受的样本对目标模型进行微调，并评估生成的检查点。

Hybrid

我们在 EnterpriseOps Gym 的 Hybrid 领域测试了该流程，使用 Gemma-4-26B-A4B-it 作为目标模型，Qwen3.8-27B 作为教师模型。

AutoSynthData 在约18小时内生成了2000个合成训练样本。我们用这个数据集对 Gemma 进行微调，并在基准测试中评估生成的检查点。最佳检查点是第5个epoch。

Hybrid 结果

/think

合成的SFT检查点使平均Pass@1提升了7.2个百分点（相对提升35%），并将验证器成功率从63.01%提升至68.55%。该优化填补了Gemma与参考模型之间原始Pass@1差距的59%。

训练任务是根据能力规范新生成的；生成器未接触原始评估任务。结果证明了在实验所用环境EnterpriseOps Gym Hybrid中，该方法的有效性。

ITSM

我们还将AutoSynthData应用于EnterpriseOps Gym的ITSM领域，以Gemma-4-26B-A4B-it作为目标模型，DeepSeek-V4.1-Flash作为教师模型。AutoSynthData在66小时内生成了1,994个合成训练样本。相比下文所述的Hybrid运行，ITSM运行的生成耗时更长，主要原因在于ITSM运行使用了更大的教师模型，并且发生在提升吞吐量的流水线优化之前。

在ITSM领域，合成SFT将平均Pass@1从18.77%提升至27.18%，表明该方法在第二个领域也能提升性能。

形成闭环

对训练最有用的任务取决于环境和其中运行的模型。AutoSynthData利用模型的失败情况来决定生成内容，将新任务与环境进行验证，并使这些任务可用于后训练。我们在EnterpriseOps Gym的实验结果证明了这种方法在受控环境中的价值。随着模型的演进，相同流程可以持续聚焦剩余的性能差距。

本文提及的模型 3

本文提及的数据集 1

更多该作者的文章

语音代理能否应对双语客户？在代码切换语音上对前沿ASR进行基准测试

46

2026年6月9日

EVA-Bench数据2.0：3个领域，121个工具，213个场景

42

2026年6月4日

社区

chamee30

约3小时前

[1

[2

🫰

回复

编辑

预览

通过拖拽、粘贴或点击此处上传图片、音频和视频

点击此处上传图片

评论

· 注册或登录以发表评论

• +7

/