Introducing Clef-omni with full multimodality, plus a faster Clef and a cheaper Clef-flash

推出支持全多模态的 Clef-omni，同时带来更快的 Clef 和更便宜的 Clef-flash | Cloudflare 博客

post

开源

产品动态

Workers AI

AI

开发者

机器学习

2026 年 10 月 9 日

推出支持全多模态的 Clef-omni，同时带来更快的 Clef 和更便宜的 Clef-flash

Michelle Chen, Alex Reneau, Kevin Jain

7 分钟阅读

复制链接

在上周发布 Clef 和 Clef-flash（Cloudflare 的开源权重决策模型）之后，我们决定继续带来新的惊喜。今天，我们发布了 Clef-omni，该模型能够同时处理音频、视频、文本和图像输入。同时，我们降低了 Clef-flash 的价格，使其比 Jev 更加经济实惠，并对 Clef 进行了性能优化使其运行速度更快。

尽管 Cloudflare 在决策模型领域仍处于早期阶段，但创新和迭代始终是我们 DNA 中的一部分，我们始终将这些原则应用于所有工作。事实上，Clef 的开发过程在不到一周的时间内就完成了。我们决定在周五晚上进入决策模型领域，周末训练模型，并在周四正式发布。即使在如此短的时间内，我们仍能为社区提供高性能、高质量的开源权重模型——想象一下未来我们还能实现什么。

今天，我们非常激动地继续推进，为 Clef 系列模型带来新的功能和改进。这只是开始，我们将继续在性能、速度、成本和创新性方面不断进步。

Clef-omni 支持音频、视频、图像和文本输入

我们的新 Clef-omni 模型能够处理音频、视频、图像和文本输入。这改变了决策模型的范式，此前自 TypeSafe 推出 Jev 以来，决策模型主要依赖文本输入。虽然 Clef 之前已支持图像和视频帧数组，但 Clef-omni 现在能够同时处理音频（wav 或 mp3）和视频（mp4 或 webm），并结合文本和图像进行决策。

无需设置复杂的模型流水线进行语音转文本，也无需将音频和图像通道从视频中分离，您只需调用一个模型即可跨任何模态进行决策。我们距离实现一个能像人类一样通过音频、视觉和文本进行交互的模型又近了一步。

查看我们的开发者文档以了解 Clef-omni 模型。我们也在 HuggingFace 上发布了开源权重。快速入门指南如下，您可以使用以下方式向 Clef-omni 发送新的模态输入：

curl https://api.cloudflare.com/client/v4/accounts/$CLOUDFLARE_ACCOUNT_ID/ai/run/@cf/cloudflare/clef-omni \
-X POST \
-H "Authorization: Bearer $CLOUDFLARE_AUTH_TOKEN" \
-H "Content-Type: application/json" \
-d '{
"model": "clef-omni",
"state": "审核安装情况：一张设备的照片、一段运行时的音频记录，以及一段风扇的视频。",
"images": ["data:image/png;base64,<base64-png>"],
"audio": ["data:audio/mpeg;base64,<base64-mp3>"],
"videos": ["data:video/mp4;base64,<base64-mp4>"],
"questions": {
"label_visible": {"type": "noul", "instructions": "照片中是否能看到型号和序列号标签？"},
"sounds_normal": {"type": "noul", "instructions": "设备运行时声音是否平稳，没有发出碰撞或摩擦声？"},
"fan_running": {"type": "noul", "instructions": "视频中风扇是否在运行？"}
}
}'

Clef-omni 将我们的开放权重决策架构扩展为原生支持多模态工作流程。该模型基于 Qwen3-Omni-30B-A3B-Instruct 的专家混合（MoE）架构构建，原生支持文本、图像、音频和视频的统一处理。但我们在保留核心理解能力的同时，去除了文本到语音的输出组件。在生产环境中，Clef-omni 会对完整负载执行快速预填充处理，同时对所有模态和有效参数选项进行评分。

由于 Clef 模型并非大型语言模型（LLM），我们跳过了输出标记生成环节，从而消除了对传入文件进行转录或添加字幕的开销。媒体元素直接映射到统一序列中，视频和音频与视觉帧同步进行联合处理。Clef-omni 通过两阶段注意力路由机制，直接从内部嵌入中提取候选值：所有有效选项首先从输入中收集关键证据（无论这些信息是嵌入在文本片段、视觉元素还是音频流中），随后字段向量在完整上下文中进行交叉注意力计算以生成置信度评分。我们内置了词法语法模块以保持选项语义，从而实现跨所有输入类型的快速、符合模式约束的评分。

我们采用与 Clef 相同的训练技术：冻结 Qwen3 主干、训练低秩适配器（LoRA），并应用标准的后训练方法（结合标签平滑交叉熵损失与 Brier 评分校准）。最终得到的模型具备强大的鲁棒性，能够应对各种模式变化、字段顺序和提示结构。

这为 Clef 模型家族带来了多项核心升级。经过校准的模式绑定决策现在可通过单次 API 调用统一处理文本、图像、音频和同步视频。性能同样出色：纯文本决策中位数耗时约 130 毫秒，图像输入约 150 毫秒，音频片段仅需数百毫秒。即使是包含声音的完整 21 秒视频片段，也能在单次 API 调用中于约 1.5 秒内完成评分。

我们的基准测试表明，即使在新模态和 MoE 架构下，Clef-omni 仍表现出色。

基准测试结果：

| 基准 | Clef-omni | Clef | Clef-flash | Jev | |--------------|-----------|--------|------------|-------| | BFCL · 精确匹配 | 98.2 | 98.47 | 98.76 | 95.75 | | ToolRet · nDCG@10 | 66.6 | 69.19 | 66.43 | 65.28 | | API-Bank · 准确率 | 92.7 | 91.93 | 93.11 | 88.19 | | 家用电器 · 精确匹配 | 69.3 | 82.95 | 97.73 | 52.27 | | When2Call · 准确率 | 63.3 | 72.37 | 65.58 | 80.97 | | BANKING77 · 宏F1 | 94.8 | 94.20 | 90.93 | 79.74 | | CLINC150+OOS · 宏F1 | 97.7 | 97.43 | 66.77 | 89.27 | | BRIGHT · nDCG@10 | 42.0 | 45.91 | 39.26 | 47.52 | | Amazon ESCI · 宏F1 | 57.8 | 57.48 | 57.39 | 55.21 | | PhishNChips · 准确率 | 73.2 | 79.60 | 75.05 | 62.55 |

我们还针对 TypeSafe 评估集进行了基准测试，以展示 Clef-omni 的表现：

工作流程表现：

| 工作流程 | 指标 | Clef-omni | Clef | Clef-flash | Jev | |----------------|--------------|-----------|--------|------------|-------| | 发票处理 | 精确动作 | 60.2 | 64.7 | 57.1 | 61.8 | | 主要动作 | 82.0 | 86.2 | 73.3 | 83.1 | | | 客户服务 | 71.6 | 76.3 | 77.0 | 76.0 | | | 安全事件 | 61.7 | 62.9 | 69.8 | | | | 代理追踪可观测性 | 65.8 | 68.5 | 69.8 | | |

Clef-flash 模型现已降价

我们听取了您的反馈——您希望拥有一种足够经济实惠、能够融入任何工作流程的决策模型。我们进行了一些优化，现在可以以更低的价格提供 Clef-flash。我们希望 Clef 能够为您所有代理工作流程中的决策提供可扩展的支持，而现在的定价也鼓励了这一目标。

我们成功优化了模型，使 Clef-flash 的价格现在比 Jev 更低，同时仍保持高性能和高质量。请随时查看开发人员文档，以获取最新的定价信息，包括有关图像和音频模态如何转换为输入令牌以进行计费的更多详细信息。

• Clef-flash —— 原价每百万输入令牌 0.09 美元，现在每百万输入令牌 0.038 美元
• Clef —— 仍为每百万输入令牌 0.24 美元
• Clef-omni —— 今日推出，价格为每百万输入令牌 0.15 美元

然而，为了实现更便宜的定价，我们必须做出一个权衡：缩短 Clef-flash 的上下文窗口。现在 Clef-flash 的托管版本上下文窗口为 24k，而不是之前宣传的 64k。Hugging Face 上的模型权重保持不变，并且训练时支持 256k 上下文窗口，如果您选择自行托管的话。

根据我们的使用数据，我们发现只有 0.24% 的请求超过 24k 输入令牌。基于这些数据，我们决定将 Clef-flash 的上下文窗口缩减到 24k，以实现更具可访问性的定价。我们的 Clef 模型仍保持 64k 上下文窗口，我们鼓励有更大上下文需求的用户切换到 Clef 而不是 Clef-flash。

Clef 模型现在更快了

Clef 模型的速度也有所提升，我们在 Workers AI 上托管的 Clef 版本进行了新的优化。由于我们所做的大部分优化属于服务基础设施层，而非模型权重或架构本身，因此没有发布新的模型权重。请查看我们新的速度数据：

输入大小 之前：中位数 / p95（毫秒） 现在：中位数 / p95（毫秒） 中位数加速倍数

~800 个令牌 262 / 438 152 / 351 1.7×

~3,400 个令牌 616 / 777 305 / 531 2.0×

~16,000 个令牌 2,721 / 3,250 1,635 / 1,805

我们进行的一项优化是将模型服务迁移到 SGLang。我们与 SGLang 团队合作，并提交了拉取请求以集成 Clef（PR #42721），该请求将在 SGLang 0.5.22 版本中发布。您也可以自行托管 Clef，因为我们已发布模型权重，新的 SGLang 启动命令也已更新到我们的 Hugging Face 仓库以及 SGLang 配方库中。

人们如何使用 Clef？

在 Cloudflare，我们有团队正在尝试使用 Clef 作为能够帮助对多个领域进行分类的模型。观察团队采用 Clef 最酷的一点是，检测和分类的能力已经进入模型层，任何人都可以开始将决策模型整合到他们的用例中。以前，即使使用零样本分类器，小型模型可能没有足够的能力在未经进一步调整的情况下跨任何领域进行分类。您可能需要组建一个专门的机器学习团队来帮助在特定领域上训练模型，并收集数据语料库以训练更好的模型。现在，您只需调用模型，即可立即以高精度解析输入数据。

Cloudflare 团队使用 Clef 的几个亮点：我们的公共 GitHub 文档仓库使用 Clef 瞬间检测并关闭垃圾邮件问题。我们的内容管理系统 EmDash 用于管理插件库以防范网络钓鱼。数据防泄漏团队正在扫描数据以识别潜在的个人身份信息（PII），例如政府身份证件。我们的威胁情报团队正在使用 Clef 帮助检测恶意域名。

立即体验！

我们很兴奋能够向您展示 Clef 模型家族的更多功能，包括音频和视频等新模态，同时通过更具成本效益的定价和更快的速度让模型更易于使用。Clef 完全兼容 Jev-API，并可通过 AI Gateway 获得，因此您只需更改模型 ID 即可立即体验 Clef。更多信息请查看我们的 开发者文档。

感谢大家对 Cloudflare 首个模型系列的热情支持与积极反馈——我们正专注于为您带来更多的创新。立即体验我们的 Clef 模型家族，并告诉我们您的想法。

目录栏

讨论栏

相关标签和社交媒体链接

相关标签

在社交媒体上关注

• Cloudflare
• Michelle Chen

电子邮件订阅