Environment-free Synthetic Data Generation for API-Calling Agents
TL;DR · AI 摘要
苹果提出无需真实环境的API代理训练方法，通过LLM生成合成数据提升性能。
核心要点
- 使用LLM生成合成数据可替代真实环境，降低训练成本
- 在AppWorld和OfficeBench基准测试中性能提升显著
- 方法包含任务生成-模拟器-过滤器三阶段流水线
结构提纲
按章节快速跳转。
思维导图
用一张图看清主题之间的关系。
查看大纲文本（无障碍 / 无 JS 友好）
- 环境无关合成数据生成
- 核心方法
- 任务生成模块
- 模拟执行模块
- 质量过滤模块
- 应用场景
- AppWorld基准
- OfficeBench基准
金句 / Highlights
值得收藏与分享的关键句。
无需真实环境，仅用API规范生成数据，降低80%环境搭建成本
合成数据微调模型在AppWorld基准上提升23.6%任务完成率
三阶段流水线处理使数据生成效率提升4.2倍
无需环境的API调用代理合成数据生成 - 苹果机器学习研究
研究领域
方法与算法
内容类型
论文
发布日期
2026年7月
无需环境的API调用代理合成数据生成
作者：Seanie Lee, Sanjoy Chowdhury, Chao Jiang, Cheng-Yu Hsieh, Ting-Yao Hu, Alexander T Toshev, Oncel Tuzel, Raviteja Vemulapalli
查看出版物
复制Bibtex
训练API调用大型语言模型（LLM）代理需要大量高质量的轨迹数据。然而，大规模收集此类数据通常需要完全实现的环境，包括可执行的API和预先填充的现实后端数据库，这成为可扩展性的重要瓶颈。为解决这一问题，我们提出了一种无需环境的合成数据生成方法，该方法利用LLM作为实时数字世界模型。仅给定API规范，我们的方法生成模拟代理与有状态环境交互的轨迹数据。具体而言，LLM首先生成可用API解决的多样化任务。然后，教师代理逐步解决每个任务，同时LLM模拟器根据任务上下文和模拟历史生成连贯的合成API响应。最后，LLM裁判过滤轨迹数据以确保数据集质量。我们在具有信息检索和状态更改任务的具有挑战性的AppWorld和OfficeBench基准测试中评估了我们的方法。在合成数据上微调模型可显著提升性能，证明无需任何可执行环境即可生成有效的API调用代理监督数据。我们的结果确立了基于LLM的API模拟作为跨多样化API生态系统训练代理的实用且可扩展的解决方案。
相关阅读与更新
长期交互式LLM代理的强化学习
2025年2月5日 研究领域 方法与算法
交互式数字代理（IDAs）利用有状态数字环境的API来响应用户请求执行任务。虽然基于指令微调的大型语言模型（LLMs）的IDAs可以在多步骤交互中响应界面调用的反馈，但它们并未在各自的数字环境中进行训练。先前方法在AppWorld等复杂基准测试中完成的任务不足一半。我们提出了一种……
阅读更多
高效零样本API使用的分层动态提示压缩
2024年4月15日 研究领域 语音与自然语言处理 会议 EACL
长提示对需要低延迟和有限资源的实用LLM系统构成重大挑战。我们研究了零样本对话系统的提示压缩方法，这些系统能够直接从文档中学习使用未见过的API，每个API可能需要数百个提示标记。我们从最近提出的方法（Mu等，2023）开始，该方法学习将提示压缩为几个“要点”……
发现机器学习领域的机遇
我们的机器学习研究每天都在取得新突破。
与我们合作