Cut your AI spend with AI Gateway's Auto Router

通过 AI 网关的自动路由减少 AI 开销 | Cloudflare 博客

post

开发者

AI

AI 网关

生日周

2026年9月30日

通过 AI 网关的自动路由减少 AI 开销

Ming Lu , Â Andreas Jansson , Â 和 Harrison Harnisch

8分钟阅读

复制链接

通过与处于 AI 采用旅程各个阶段的公司交流，我们发现了一些共同模式。首先，在引入每个新工具、随意分发 API 密钥、让令牌自由流动时，会有一个探索期。随后，你们会逐渐聚焦于组织内部用于代理编码、非技术性工作流以及运行和部署代理的标准工具。当公司正式确立 AI 采用策略时，他们希望管理并监督用户的令牌开销，但预算和规则的作用是有限的。最佳的节省效果是用户根本不会察觉的那些。

今天，我们正式发布 Cloudflare 的自动路由功能，该功能通过 AI 网关向公众开放测试版。将模型设置为 cloudflare/auto，自动路由会自动将每个请求路由到足以完成任务的模型，无需终端用户考虑模型选择。我们在内部通过 OpenCode 工具链使用自动路由的早期结果显示，与仅使用前沿模型（如 OpenAI Sol 和 Anthropic Claude Opus）相比，开销减少了高达 30%。

我们为何要构建这个功能

通过在 Cloudflare 内部跟踪 AI 开销的实践经验，我们了解到成本管理需要多管齐下。此前，我们讨论过如何为 AI 开销设置预算和限制，以及如何通过将员工与 AI 使用情况关联来查看组织内部的开销分布。

在许多工具链（包括 OpenCode、Claude Code 和 Codex）中，个人用户仍然需要手动选择模型。当然，并非所有任务都同等重要，个人用户经常会选择远超任务需求的模型。例如，如果你只是需要总结邮件或聊天记录，就不需要 Opus 级别的智能。但你也不希望完全禁止安全工程团队使用该模型。

我们的目标是让 AI 网关成为组织内部部署 AI 的控制平面。因为每个用户、代理和工具的每个请求都会经过网关，所以 AI 网关处于独特的位置，不仅可以观察和执行规则，还能进一步采取行动。预算、开销限制和基于身份的分析为组织提供了可见性和防护措施，但它们仍然依赖个人逐个请求做出成本意识的决策。下一步是让网关本身代表用户做出智能决策：将每个请求发送到足以完成任务的模型。这样，组织可以自动减少开销，同时在实际需要时，用户仍能访问最强大的模型。

结果

我们在 Cloudflare 内部的 OpenCode 部署和 Cloudflare OS（我们的自定义代理工具链）中使用自动路由。在内部使用过程中，我们发现自动路由在编码任务上的表现与前沿模型相当。

Auto Router 在广泛的知识型工作任务中表现最佳，这些任务通常出现在大型组织中，涉及技术团队和非技术团队的协作。我们在内部通用知识工作基准测试中对 cloudflare/auto 与 OpenAI 的 GPT-6 Sol 和 Anthropic 的 Claude Opus 5.5 进行了评估。该基准测试使用模拟工作空间工具，涵盖电子邮件、日历、Slack、文件、差旅和财务等常见日常工作流程。每个任务都需要模型使用这些工具生成可验证的答案或完成操作。

模型

成功试验次数

成功率

总成本

每成功一次成本

cloudflare/auto

252/291

86.6%（+6.2/−6.9 个百分点）

2.10 美元

0.0084 美元

Anthropic Claude Opus 5.5

281/291

96.6%（+2.7/−3.8 个百分点）

5.91 美元

0.0210 美元

OpenAI GPT-6 Sol

245/291

84.2%（+6.5/−6.9 个百分点）

2.64 美元

0.0108 美元

每个任务对每个模型进行三次采样，共 97 个任务。括号内的值表示从 10,000 次任务级自助抽样重采样中估计的 95% 置信区间，保留每个任务内的所有三次重复。“pp”表示百分点。

我们的 Auto Router 表现出与其他先进日常使用模型相当的性能，其成本仅为 Sol 的 80% 和 Opus 的 35%。虽然这乍看之下可能令人惊讶，但模型路由器解决的问题可以通过“锯齿状前沿”来理解。解决问题的能力通常存在于这些模型组合中的某个地方；路由器的任务是为每个任务选择合适的模型，同时平衡质量和价格。节省的费用来自于不为非前沿工作支付前沿价格，而这种节省随着此类工作的增加而增长。

另一个洞察是，较低的每 token 价格并不总是带来更低的成本。在纸面上看起来更便宜的模型可能在解决问题时使用不成比例更多的 token。路由器应最小化预测轨迹成本，而不仅仅是按每百万 token 的美元进行负载均衡。

这在今天已经很有用，但只是 Auto Router 从 Cloudflare 在推理路径中的位置所能学习的开始。

工作原理

当您向 cloudflare/auto 发送请求时，AI 网关首先构建可以实际处理该请求的模型池。它会过滤掉不支持请求格式或执行模式的模型，并考虑网关关联的凭证、计费配置、访问控制策略和支出限制。在停机期间，它还会过滤掉不健康的上游提供商或模型，并在故障恢复后自动将它们重新加入池中。

对于剩余的候选模型，路由器会查看对话的紧凑视图。它会考虑最近的消息，优先处理最新的对话轮次。然后，对话会被发送到运行在 Workers AI 上的多头分类模型，该模型部署在我们的边缘网络 GPU 上。分类器生成两组信号。首先，它在 14 个任务类别（如编码、规划、研究、数据分析）之间分配概率。然后，它在 1 到 5 的尺度上根据四个维度对请求进行评分：复杂性、模糊性、风险程度和对早期上下文的依赖性。

一个独立的评分矩阵将这些信号与模型基准结果相结合，以估算每个模型与请求的匹配程度。为了校准评分矩阵，我们为一组示例任务和难度配置定义了首选模型，然后调整权重以产生这些选择。

最终，路由器将预期质量与每个模型的输入和输出令牌价格相结合。对于简单的请求，价格权重更大，因此当小型模型具备足够能力时可能胜出。随着难度增加，成本惩罚降低，更强的模型将有更多机会胜出。简而言之，cloudflare/auto 通过以下公式选择效用最高的模型：

utility = expected quality - adaptive cost penalty

在调试或编码等长期代理会话中，成本更多由缓存读取成本驱动，而缓存读取成本会随着会话长度增加。切换模型会清空缓存并迫使新模型重新写入整个上下文。这可能值得，因为缓存读取和写入成本更低的模型可以快速抵消重写成本。

Auto Router 并不完全避免模型切换，而是考虑了缓存读取和写入的成本。在一个回合（一次用户输入循环）内，缓存处于热状态，切换很少能带来收益，因此最好继续使用相同模型。跨回合时，Auto Router 会应用随上下文令牌数量增加而增长的切换惩罚。仍为会话保留实时缓存的模型按其较低的缓存读取费率计价。其他所有候选模型均按重写上下文的完整成本计价，因此对话越深入，切换需要通过更高质量的结果（总体使用更少令牌或更便宜的缓存重读）来获得更高回报。模型切换还有另一个成本：大多数模型无法读取其他模型的推理令牌，因此切换导致推理令牌丢失时，新模型可能需要以输出价格重新生成这些内容。未来，我们希望在切换时通过让路由器优先保持在同一模型家族内来考虑这一因素。

从那里，路由器返回一个排序列表。AI Gateway 会首先尝试胜出模型，如果该提供商无法处理请求，可以切换到其他符合条件的模型。

这种整体设计具有多个优势。两阶段架构（任务和维度分类器到评分矩阵）意味着路由决策是可解释的，因为您可以检查每个任务的预测类别和复杂度，以了解它们如何转化为模型选择。当新模型发布时调整路由器也不需要重新训练——我们只需将其基准衍生权重添加到评分矩阵中。相同的分类器还可以支持不同的路由配置文件。例如，除了 cloudflare/auto 之外，我们还计划在未来发布其他路由器，包括 cloudflare/auto-best，它使用相同的分类和模型池，但不应用成本权衡，直接选择预期质量最高的模型。

后续计划

今天的发布只是一个起点，我们仍在继续投资研究和新的路由策略。短期内，我们的目标是：

• 扩展通过 cloudflare/auto 提供的模型
• 在筛选模型时包含零数据保留要求
• 在选择模型时考虑提供商容量
• 为每个请求选择适当的推理或思考级别

• 全面支持 Responses API 和 WebSockets

• 探索结构化决策模型作为初步分类器

Auto Router 在测试版期间免费。在我们的开发者文档中了解更多。

致谢：本项目也得益于 Mats Dodd、Sam Scott、Oliver Yu 和 Jeff Rafter 的努力。

目录列

讨论列

相关标签和社交媒体链接

相关标签

在社交媒体上关注

• Cloudflare

• Ming Lu

• Harrison Harnisch

电子邮件订阅