A New Kind of Model for AI Decision-Making?

用于AI决策的新类型模型？| Towards Data Science

人工智能

用于AI决策的新类型模型？

探索TypeSafe的Jev模型并将其与OpenAI在意图分类任务上的表现进行对比

Mariya Mansurova

2026年9月21日

7分钟阅读

作者生成的图片

TypeSafe.AI最近推出了其首个模型Jev。他们声称这是首个新型模型（称为系统一模型），与过去几年我们所使用的（并大肆宣传的）大型语言模型（LLMs）存在根本性差异。

这种新型模型在许多日常应用场景中表现尤为出色，例如分类任务（如NPS评论的主题建模）或LLM作为评判者的任务。因此，我决定必须亲自尝试一下。

在本文中，我们将探讨系统一模型与LLMs的区别，并以客户支持请求的意图分类为例，实际验证TypeSafe.AI的部分主张。

系统一模型与LLMs的区别

LLMs经过训练用于预测下一个token并生成我们所熟悉的长文本和对话，而系统一模型则被设计用于评估状态并生成结构化答案。与LLMs类似，系统一模型也可以接受自然语言作为输入，因此在这方面没有实质差异。

有关训练过程的更多细节请参阅文档。Jev模型的有趣之处在于其后训练方法。LLMs通常使用基于人类反馈的强化学习（RLHF）进行后训练，这使它们能够与人类偏好保持一致。但这种方法也可能导致过度迎合和产生看似自信的幻觉，这在实际应用中我们已经见过。这种方法对聊天机器人效果良好，但对于涉及决策的应用场景，TypeSafe建议采用不同的方法。

对于Jev模型，他们采用基于校准决策的强化学习（RLCD），训练模型同时返回决策和概率。

让我们看看该模型的工作原理及其输入和输出形式。

模型的输入称为"状态"。状态定义了您希望提供给模型的上下文以及希望模型回答的问题。它可以简单到单条消息，例如客户请求"我是否可以更改我的PIN码？"，也可以是JSON对象。

• 包含多个字段的映射，例如{"message": "我是否可以更改我的PIN码？", "user_id": 123}

• 表示消息序列或记录的数组，例如["你好！我能帮您什么？", "我是否可以更改我的PIN码？"]

最佳实践是使用具有清晰字段名称的对象作为状态，这样模型更容易推理上下文。

除了上下文，我们还可以向模型传递一个或多个问题。由于系统一模型不会生成自由形式的响应，我们需要使用可用的原始类型之一来指定预期的答案类型：

• 选择（Choice）适用于答案应为几个预定义选项之一的情况。例如：这个客户请求涉及什么——配送、账单还是账户访问？

• 评分（Score）适用于答案来自有序值集的情况。例如：这条客户消息的情感倾向是负面、中性还是正面？

• 二元选择（Noul）用于是/否问题。例如：在此聊天中客户的問題是否已解決？

在所有这些情况下，我们不仅会得到答案本身，还会获得所有可能值的概率分布。置信度是Jev的重要组成部分，因为它能告诉我们模型是否对其决策有信心（例如，当大部分概率集中在单一值上时），或者是否不确定（当多个选项的概率大致相同时）。

这些置信度水平在需要根据模型输出做出决策时特别有用。以自动回复客户问题为例：如果模型能以高置信度将客户请求分类到已知类别中，我们可以发送自动回复。否则，可以将消息路由到人工客服代理。

实践

Jev声称比传统LLM快193.6倍、便宜444.6倍且更不容易产生幻觉。让我们通过与传统LLM的对比，看看这些说法在实际应用中是否成立。

为了这次实验，我选择了OpenAI，因为TypeSafe的基准测试显示Jev的表现与OpenAI的Terra模型相当。

我还决定使用PolyAI发布的银行意图数据集，该数据集采用CC BY 4.0许可证公开。这是一个相当有趣的分类问题，包含77个不同的意图类别（数量相当多）。

以下是数据的示例。

作者提供的图片

使用Jev

让我们从调用Jev模型开始。要获得访问权限，你需要注册（目前有等待名单）并获取API密钥。在我的情况下，大约半天后收到了邀请。

对于我们的分类任务，我们将使用Choice原语来提问。由于我们没有类别的额外描述，因此将这些描述留空。

从那里，我们只需要发出HTTP请求并传递所有必要的信息（状态和问题原语）。

python

INSTRUCTIONS = (
"将此银行客户服务消息分类到其意图类别中。 "
"选择与客户询问内容最匹配的单一类别。"
)
JEV_URL = "https://api.typesafe.ai/v1/systemone"
def call_jev(text, labels, instructions, model="jev-latest"):
"""让Jev选择一个确切的标签。"""
response = requests.post(
JEV_URL,
headers={"Authorization": f"Bearer {JEV_API_KEY}"},
json={
"state": text,
"model": model,
"questions": {
"label": {
"type": "choice",
"instructions": instructions,
"criteria": {label: None for label in labels},
}
},
},
timeout=60,
)
response.raise_for_status()
body = response.json()
answer = body["answers"]["label"]
return {
"label": answer["choice"],
"confidence": answer.get("confidence"),
"input_tokens": body["usage"]["input_tokens"],
"output_tokens": body["usage"]["output_tokens"],
}
example = records[0]
print("text      :", example["text"])
print("true label:", example["label"])
# text      : How do I link this new card?
# true label: card_linking
jev_answer = call_jev(example["text"], LABELS, INSTRUCTIONS)

结果，我们会得到一个包含答案和所有可能选项概率的JSON对象。在这种情况下，我们可以看到模型对card_linking是正确答案这一结论完全有信心。

json

{
"model": "jev-1.13.0",
"answers": {
"label": {
"type": "choice",
"choice": "card_linking",
"confidence": 1.0,
"probabilities": {
"why_verify_identity": 0.0,
"cash_withdrawal_charge": 0.0,
"declined_card_payment": 0.0,
"top_up_reverted": 0.0,
"card_linking": 1.0,
"transaction_charged_twice": 0.0,
"pending_cash_withdrawal": 0.0,
"card_delivery_estimate": 0.0,
"pending_card_payment": 0.0,
"visa_or_mastercard": 0.0,
"declined_transfer": 0.0,
-- skipped some intents
"age_limit": 0.0,
"verify_top_up": 0.0,
"exchange_via_app": 0.0,
"get_disposable_virtual_card": 0.0
}
}
},
"usage": {
"input_tokens": 1036,
"output_tokens": 827
}
}

使用 OpenAI

为了进行对比，我们将使用 OpenAI 的 Luna 和 Terra 模型。为了让设置具有可比性，我们还将为 OpenAI 模型指定输出模式，使其响应受限于相同的结构化格式。

def call_openai(text, labels, instructions, model):
"""让 OpenAI 模型回答相同的问题，但限制在相同的标签范围内。"""
response = openai_client.chat.completions.create(
model=model,
messages=[
{"role": "system", "content": instructions},
{"role": "user", "content": text},
],
response_format={
"type": "json_schema",
"json_schema": {
"name": "classification",
"strict": True,
"schema": {
"type": "object",
"properties": {"label": {"type": "string", "enum": labels}},
"required": ["label"],
"additionalProperties": False,
},
},
},
timeout=60,
)
return {
"label": json.loads(response.choices[0].message.content)["label"],
"confidence": None,  # OpenAI 模型不会提供置信度
"input_tokens": response.usage.prompt_tokens,
"output_tokens": response.usage.completion_tokens,
}

不幸的是，目前 OpenAI 模型不会返回对数概率，因此我们无法直接从模型中获取置信度评分并与 Jev 进行比较。

对比

TypeSafe 将 Jev 定位为与 Terra 大致相当，略微优于 Luna，同时在涉及多个决策或模型调用的工作流程中，速度和成本显著更低。

让我们看看这在我们的用例中如何体现，尽管这个任务相对简单，只需一次调用。在准确性方面，Jev 的表现明显不如两个 OpenAI 模型：79.0%，而 Terra 为 83.9%，Luna 为 86.2%。这种差异具有统计显著性。

我们还可以看到，Jev 使用的 token 数量显著更多（输入 token 约为 2 倍，输出 token 约为 40 倍），主要是因为它为所有 77 个意图返回概率。因此，即使每个 token 的价格较低，我也不认为它在这个特定用例中比 Luna 显著便宜。

然而，速度的提升确实非常显著：Jev 几乎快了 2 倍。

真正令人印象深刻的是置信度评分的校准效果：随着置信度桶的提高，准确性持续增加。

我还进行了一些实验，以了解为什么 Jev 在这个任务上的表现不佳。我的最佳猜测是类别数量过多是主要原因。当我将任务从 77 个标签减少到仅 7 个时，结果显著改善，并且大致与 OpenAI 模型相当。

你可以在 GitHub 上找到所有代码。

我们已经了解了这个新模型的工作原理，并将其付诸实践，现在是时候总结一下这次体验了。

总结

我非常认同System One模型的发展方向，因为我认为这些模型可以用于工作中处理的许多任务，例如LLM-as-a-judge评估或意图分类。

正如我们所看到的，这些模型的质量并不总是能与LLM相媲美，但经过良好校准的置信度评分是一个显著优势。它们使得在简单场景中使用快速且低成本的模型成为可能，同时将更不确定的案例路由到前沿模型。我非常期待在实际生产流程中尝试这种架构。

与此同时，TypeSafe的宣传语使这些模型听起来几乎具有奇迹般的效果（便宜100倍以上且速度更快）。我确信在某些工作流程中可以实现这一目标，特别是那些涉及大量小决策和重复调用的场景，但我仍然认为实际收益会因使用场景的不同而有很大差异。因此，建议在自己的任务上进行测试，而不是假设基准数据可以直接套用。

感谢阅读。希望本文能带来启发。请记住爱因斯坦的建议："重要的不是停止提问。好奇心存在本身就有其理由。"愿你的好奇心引导你发现下一个重大洞见。