AI Gateway adds confidence-based decision fallbacks

AI Gateway 添加基于置信度的决策回退机制 - Vercel

当主模型的回答触发您设置的置信度条件时，AI Gateway 现在可以将决策请求升级到回退模型。

条件可以组合使用，因此一次升级可能依赖多个信号。您已经在 models 中列出的普通模型名称仍会捕获明显的错误，因此现有的回退机制不受影响。置信度条件适用于 Choice 和 Score 类问题。Boolean 类问题则根据概率范围进行升级。

通过向 providerOptions.gateway.models 添加一个条件对象来设置回退机制。未设置该对象的请求将保持原有行为。

1
{
2
"gateway"
:
{
3
"models"
:
[
4
{
5
"model"
:
"openai/gpt-6-astra"
,
6
"when"
:
{
7
"question"
:
"intent"
,
8
"confidenceBelow"
:
0.6
9
}
10
}
11
]
12
}
13
}

基于置信度条件将不确定的回答升级到回退模型

省略 question 参数时，条件会检查所有匹配类型的问题，因此 { "confidenceBelow": 0.6 } 会在任何 Choice 或 Score 回答低于 0.6 时触发升级。

由于触发回退会执行第二次决策，因此两个阶段都会产生费用。

决策回退功能目前处于测试阶段。了解更多请查阅决策回退文档。