Plan or Retrieve First? A Scale Study of Tool Discovery Architectures
TL;DR · AI 摘要
Plan or Retrieve First? A Scale Study of Tool Discovery Architectures - Apple Machine Learning Research research area Me...
核心要点
- 主题聚焦：Plan or Retrieve First? A Scale Study of Tool Di
- 来源：Apple Machine Learning Research，建议结合原文判断细节。
- AI 分析暂不可用，本条为保底评分与摘要。
先规划还是先检索？工具发现架构的规模研究 - 苹果机器学习研究
研究领域
方法和算法
,
工具、平台、框架
会议
EMNLP
内容类型
论文
发布日期
2026年10月
先规划还是先检索？工具发现架构的规模研究
作者 Mingfei Zhang, Amit Surana, Ziauddin Majid, Chenxi Wang, Michael Xu
查看出版物
复制Bibtex
工具增强的大型语言模型代理在规划执行前会从大型注册表中发现相关API，但有限的上下文窗口限制了将所有工具定义注入单个提示词。主流方法（我们称之为检索后规划，RtP）将用户查询嵌入并通过近似最近邻搜索检索相似工具。我们研究了一种替代方案——先规划后检索（PtR）范式，其中LLM首先生成抽象工具存根（描述所需能力的假设函数签名），这些存根随后作为检索查询与注册表进行匹配。在ToolBench（46,984个独特API端点，50个类别）上，针对单工具（G1）、类内多工具（G2）和跨类多工具（G3）查询子集进行评估，我们发现明显的复杂度相关交叉点：RtP在单工具查询中优于PtR，而PtR在多工具查询中优于RtP。这种交叉点在所有检索预算（k=1到20）中都存在，对从1k到47k API的注册表规模具有鲁棒性，并且在模型家族（Gemini 2.5 Flash和gpt-oss-120b）中保持一致。我们描述了一种存根幻觉故障模式（LLM发明了看似合理但实际不存在的API名称），这种模式具有双重作用：在简单查询中，PtR的存根会忽略专有名词信号（而RtP直接匹配这些信号），但在复杂查询中，相同机制能将多方面意图分解为功能子需求。我们进一步分析了token开销，发现PtR的额外发现调用使推理成本大致翻倍，这在多工具查询中带来收益但在单工具查询中产生负面影响，这激发了复杂度自适应路由作为实际方向——这一方向可以通过管道中已存在的零成本信号（RtP的top-1检索得分）驱动。
相关阅读和更新
ProTIP：渐进式工具检索提升规划效果
2023年12月20日 研究领域 知识库与搜索 ， 研究领域 语音与自然语言处理
大型语言模型（LLMs）越来越多地用于复杂的多步骤规划任务，其中工具检索（TR）步骤对于实现成功结果至关重要。TR的两种主流方法是单步检索（利用完整查询）和基于任务分解（TD）的顺序检索（将完整查询分割为离散的原子子任务）。虽然单步检索缺乏处理...的灵活性
阅读更多
用于检索增强生成的上下文调优
2023年12月18日 研究领域 知识库与搜索 ， 研究领域 语音与自然语言处理 EACL研讨会
该论文已被EACL 2024的UncertaiNLP研讨会接受。
大型语言模型（LLMs）具有仅需少量示例即可解决新任务的显著能力，但它们需要访问合适的工具。检索增强生成（RAG）通过为给定任务检索相关工具列表来解决这个问题。然而，RAG的工具检索步骤要求所有必要信息必须明确包含在查询中。这是一……
探索机器学习中的机遇
我们的机器学习研究每天都在取得新突破。
Work with us