ToolGrad: Efficient tool-use dataset generation with textual "gradients"

ToolGrad：基于文本“梯度”的高效工具使用数据集生成

2026年9月10日

周仲毅，研究科学家；杜若飞，Google XR交互感知与图形负责人

ToolGrad是一种颠覆传统范式的数据生成框架，它先生成工具使用答案，再生成用户查询。我们证明这种设计使大语言模型（LLM）能够实现更优的工具使用性能。

快速链接

• 论文

• ToolGrad

• 分享 复制链接 ×

人工智能代理在自动化现实世界任务方面展现出巨大潜力，例如执行谷歌搜索、读取本地计算机文件或运行生成的Python脚本。要实现这种代理工作流，大语言模型需要学习如何正确且高效地使用工具。为了教授大语言模型使用工具，我们需要工具使用链及其对应用户查询的数据集。在我们之前的工作InstructPipe中，我们手动标注了评估数据，但这种方法无法扩展到高级大语言模型微调工作流。为了优化数据工作流，先前工作如ToolBench和ToolACE探索了使用代理通过试错法自动搜索工具使用路径。这种代表性标注方法包含两个步骤：(1) 从采样的API池中生成假设用户指令，(2) 使用深度优先搜索（DFS）代理寻找其工具使用解决方案。这种方法本质上效率低下，因为其核心概念是从复杂代理探索中提炼有价值的轨迹来训练大语言模型。

在ACL 2026发表的《ToolGrad：基于文本“梯度”的高效工具使用数据集生成》中，我们引入了替代解决方案范式。ToolGrad首先生成真实工具使用链，然后标注其对应的用户提示。直观地说，明确的工具使用解决方案比提示提供了更明确的信息，使从工具使用到使用查询的标注过程更加简单，仅需一个大语言模型步骤。我们的结果显示，这种以答案优先的方法能够以更低的成本生成更复杂的（长周期）工具使用数据。在我们生成数据上训练的LLM在基准方法上表现更优，甚至在包含未见过工具的分布外（OOD）数据集上与最先进的专有LLM表现相当。

根据image_width确定适当的宽度

对于移动图像，使用默认宽度

虽然现有技术通过搜索低通过率的用户查询解决方案生成工具使用数据集，但ToolGrad在生成提示之前先生成成功的工具使用链，从而实现高通过率。

基于文本“梯度”的迭代工具使用链生成

标准机器学习（ML）系统通过计算训练样本小批量的数值损失梯度来改进模型，这些梯度随后被优化算法用于更新模型权重。最近，TextGrad将这一范式应用于提示工程，使用大语言模型批评者提供丰富的文本反馈——称为“文本梯度”。这些文本梯度随后指导将给定提示优化为能更好解决目标任务的新草稿。

ToolGrad将文本梯度的概念从提示优化扩展到合成数据集生成。与优化静态文本提示不同，ToolGrad利用这些梯度从大型工具库中迭代构建复杂有效的API工作流。

将 ToolGrad 的优化组件与传统 ML 和 TextGrad 进行对比。

ToolGrad 框架

ToolGrad 包含四个核心模块，按顺序提出、执行、选择和更新。

• API 提议者：在每次迭代中，该模块将抽样的 API 集合缩小到几个有前景的候选者，以扩展当前工作流。
• API 执行者：这些模块并行测试选定的 API，并生成详细的执行报告。
• API 选择者：该模块审查执行报告，选择表现最佳的单个 API 调用——作为提供改进方向反馈的文本梯度——并将其追加到工作流中。
• LLM 更新器：最后，该模块修订合成用户查询和 AI 响应，以匹配新的 API 集。

重复这个迭代过程会产生包含用户查询、已验证 API 工作流和最终 AI 响应的数据样本。

ToolGrad 在生成提示之前先生成成功的工具使用链，从而实现高通过率。

实验

数据生成效率

我们首先评估数据生成的成本和质量。我们使用包含 16k+ 真实 API 的 ToolBench 作为 API 数据库来生成工具使用数据集。我们将 ToolBench 上原始的查询优先数据生成方法（使用深度优先搜索 DFS）与我们的答案优先方法 ToolGrad 进行比较。结果表明，ToolGrad 在更低的生成成本下，能够生成更复杂的工具使用数据并实现更高的通过率。

查询优先方法（基线）与答案优先方法（我们的方法）在生成效率上的对比。

伯克利函数调用排行榜

我们使用来自 ToolBench 的 API 数据库生成了名为 ToolGrad-500 的小规模工具使用数据集。然后我们使用 ToolGrad-500 对 Gemma-3 模型（1B、4B 和 12B）进行微调，并将这些微调后的模型命名为 ToolGrad-1B、ToolGrad-4B 和 ToolGrad-12B。我们在伯克利函数调用排行榜（BFCL）上评估了这些模型的工具使用性能，BFCL 是一个与 ToolBench 使用不同工具集的工具使用基准。我们将我们的微调模型与以下模型进行对比：（1）未进行微调的基础模型，（2）SoTA 专有模型（Gemini、GPT 和 Claude），以及（3）SoTA 工具使用专用模型（ToolACE、Hammer-2.1-7B）。

以下总结了我们的发现。

• 对基线模型的一致性改进：在 ToolGrad-500 上对 Gemma-3 进行后训练可以显著提升其在所有测试参数规模下的工具使用性能。
• 超越专有 LLM：ToolGrad-12B 模型表现出色，得分为 83.1，在发布时与行业最先进的专有模型（gemini-2.5-pro 83.2、claude-4.5 Opus 82.8 以及 gpt-5 74.4）具有高度竞争力。
• 自我进化：ToolGrad-500 数据集使用 gemini-2.5-flash-lite 生成。有趣的是，我们发现使用 gemini-2.5-flash-lite 生成的数据对 Gemma-3-12B 进行微调后，其性能可以超越原始的“教师模型”。
• 超越其他开源模型：与使用更先进的 API 数据库进行微调的 ToolACE 等其他开源工具使用专用模型相比，ToolGrad-12B 明显领先。

Gemma-3、ToolGrad 模型、Gemini 2.5 系列、GPT-5、Claude-4.5、ToolACE 和 Hammer-2.1-7B 模型在 BFCL 上的评估结果。

结论与未来方向

ToolGrad 证明了通过“答案优先”范式可以更高效、可靠地生成高质量的工具使用数据集。通过设计一个智能体框架，该框架通过文本梯度迭代链接 API，ToolGrad 解决了生成真实数据时长期存在的成本和可扩展性瓶颈。我们的设计在数据生成中实现了接近 100% 的通过率，使相对紧凑的模型表现出色，并展示了学生大语言模型（LLM）甚至可以超越其教师模型。

展望未来，通过将框架扩展到处理日益动态和庞大的 API 生态系统，这项研究可以扩展到更广泛的实际应用中。未来的工作还将探索将这种自我进化能力扩展到支持持续的实时学习，以实现长期的个性化。随着智能体工作流越来越多地嵌入企业及日常任务中，ToolGrad 这样的框架为训练既能力强大又经济可扩展的数字代理奠定了基础。

致谢

这项研究主要由 Zhou Zhongyi 在 Google 担任访问研究员期间完成。我们衷心感谢关键贡献者 Kohei Uehara、Haoyu Zhang、Jingtao Zhou、Lin Gu、Zheng Xu、Tatsuya Harada 的支持，以及 Adarsh Kowdle 和 Shahram Izadi 的战略指导和细致评审。

• 标签：

• 机器智能

• 自然语言处理

其他相关文章

• 2026 年 9 月 17 日 教学的未来：通过生成式 UI 让教师创建交互式学习内容 教育创新 · 生成式 AI · 机器智能

• 2026 年 9 月 3 日 在代表性不足人群中进行基因组预测的迁移学习 一般科学 · 机器智能

• 2026 年 9 月 3 日 连接组学里程碑：绘制完整雄性果蝇大脑 一般科学 · 健康与生物科学 · 机器智能 · 开源模型与数据集

×

❮

❯

一张图表展示了 ToolGrad 的顺序 API 小批量方法相比现有技术实现了更高的标注通过率。

一个流程图说明了 ToolGrad 的工作流程，其中 API 被提出、评估并依次集成以更新查询和工作流。

一张表格显示 ToolGrad 通过更少的优化步骤实现了 99.8% 的通过率，优于 ToolBench。

一张表格比较了机器学习、TextGrad 和 ToolGrad 在四个关键维度上的优化组件。

一个条形图显示 ToolGrad 一致提升了 1B、4B 和 12B 基础模型的工具调用基准得分。