Granite Switch 4.1: Chat, Decisions, and Speech from One Endpoint
TL;DR · AI 摘要
IBM Granite Switch 4.1通过集成决策适配器和语音模型，实现多任务处理，提升效率。
核心要点
- Granite-Switch-4.1-30B在5步RAG流程中比Jev-27B快3倍
- Decision aLoRA适配器使VRAM占用与基模型相当
- Guardian aLoRA在安全决策任务中超越多个竞品模型
结构提纲
按章节快速跳转。
- §项目背景
介绍Granite Switch项目的模块化开发理念及4.1版本升级重点
解析Decision aLoRA、Guardian aLoRA和ASR模型的技术特性
说明KV缓存复用和vLLM技术如何提升推理速度
- ·对比实验
展示与Jev-27B在RAG流程中的性能对比数据
- ›部署方案
描述单端点实时处理多任务的实现方式
思维导图
用一张图看清主题之间的关系。
查看大纲文本（无障碍 / 无 JS 友好）
- Granite Switch 4.1
- 核心技术
- Decision aLoRA
- Guardian aLoRA
- ASR模型
- 性能优势
- VRAM效率优化
- KV缓存复用
- 多任务并行
- 应用场景
- 实时语音转录
- 安全决策判断
- 多轮对话处理
金句 / Highlights
值得收藏与分享的关键句。
Granite-Switch-4.1-30B在5步RAG流程中比Jev-27B快3倍
Decision aLoRA适配器使VRAM占用与基模型相当
Guardian aLoRA在安全决策任务中超越Jev 1.13等4个模型
KV缓存复用技术使适配器推理速度提升40%
Granite Switch 4.1：从单一端点实现聊天、决策与语音交互
返回文章列表
[0
[-1
企业
]
文章
发布于 2026 年 10 月 15 日
点赞
15
[
- +9
Kate Soule
katesoule
关注
ibm-granite
Subhajit Chaudhury
subhajit1412
Hendrik Strobelt
hen
Luis A Lastras
GrizleeBer
Granite Switch 项目去年春季首次发布，为模型开发提供了模块化方法。现在，Granite Switch 4.1 模型配备决策适配器和 OpenASR 排行榜上最快的 ASR 模型，能够高效地在自然语言响应、通用及专业决策、语音转文本任务之间切换——这一切都可通过单一托管端点实现。
具体而言，Granite-Switch-4.1-8B 和 -30B 模型配置包含以下组件：
- 一个用于通用决策的新 aLoRA（如 v1/systemone），
- 一个在安全相关决策任务上平均表现优于 Jev 1.13、Microsoft-Decision-1、GPT-Luna-Decisions 和 Clef-Flash 的专业 Guardian aLoRA，
- Granite-Speech-5.0-Turbo-CTC，这是 OpenASR 排行榜上最快的 ASR 模型，已嵌入用于转录任务。
这三项技术（包括底层基础模型）被整合为一个模型，其在 GPU 上占用的 VRAM 与基础模型单独运行时几乎相同。这意味着在使用更少 GPU 的情况下可实现更多功能。
由于 Switch 适配器采用缓存高效的 Activated LoRAs 架构，由基础模型生成的 KV 缓存可被后续任何基于适配器的决策重复使用。结合我们团队近期对 vLLM 的贡献以加速低秩适配器推理，以及本地化的 ASR 编码器，Granite Switch 4.1 模型可在聊天请求、决策请求和语音请求之间实现闪电般的切换速度。
访问我们的 Speech-to-Decisions HF 空间，granite-switch-4.1-8b 可实时在单一端点上完成音频转录、生成摘要、筛查有害内容并测试 15 个用户自定义标志。
Granite 库：最初的决策模型
决策模型并非新概念。我们此前发布的 Granite 库包含一个专门“决策模型”适配器和其他专用任务适配器的仓库，这些组件可组合成自定义的 Granite Switch 模型。虽然 Jev 等封闭式决策模型侧重通用性，但我们发现许多 Granite 库的专用适配器在特定分类任务上可超越通用模型。
在特定分类任务评估中，对比 Granite 库适配器与通用决策模型的表现。
由于适配器共享基础模型的 KV 缓存，将专用适配器与通用决策适配器结合几乎不增加成本。您既能获得通用模型的广泛覆盖能力，又能在关注的任务上实现专用适配器的更高精度。
在 Granite-Switch-4.1-30B（冻结基础 Granite 模型 + 4 个专用 aLoRAs）与 Jev-27B（冻结基础 Qwen 模型 + 1 个通用决策 LoRA）的“竞速”测试中，Granite-Switch-4.1-30B 完成真实世界 5 步 RAG 工作流的速度远超竞争对手。
构建并扩展您自己的 Granite Switch 模型
Granite-Switch-4.1-8B 和 -30B 提供了“开箱即用”的完整功能。我们已将这些模型预装了预定义的实用适配器。但您无需使用我们的版本。任何人都可以构建自己的 Granite Switch 模型，通过混合匹配 Granite 库中的适配器来最佳满足自身需求。
向前发展，我们看到社区在使用自定义和第三方适配器构建和扩展Granite Switch模型方面拥有巨大机遇。我们计划在Mellea发布适配器SDK用于训练适配器，并同步提供其他教程和Granite Switch支持。这些适配器可以是用于增强基于决策工作流的分类适配器，也可以是用于特定语言任务的适配器。你甚至可以使用自定义适配器教会30亿参数版本的Granite玩经典游戏《毁灭战士》。
与Jev类似，我们自定义的30亿参数Granite Switch模型在导航《毁灭战士》游戏时也做出了瞬时决策，但每秒能完成60-100次决策，而Jev的报告为每秒10次决策。1 与Jev不同的是，这个Granite Switch模型在游戏过程中还可以进行叙述并回答你的问题。
我们期待在接下来的几周内发布更多关于Granite Switch的详细信息和数据，但在那之前，我们鼓励你尝试我们的最新Switch模型以及这些有助于入门的资源。
入门资源
- Granite Switch 4.1 模型卡片
- 语音到决策演示
- Granite Switch GitHub代码库
- 原始Granite Switch和Granite库发布博客
- 在Colab上创建你自己的aLoRA v LoRA竞赛
脚注
1 https://typesafe.ai/blog/introducing-system-one-models-and-jev
本文提到的模型 5
本文提到的空间 3
本文提到的集合 2
更多来自该作者的文章
Granite 4.2 大语言模型：它们是如何构建的
127
2026年8月25日
与Granite Speech 5.0 Turbo CTC实现极快且精准的语音转录
37
社区
编辑
预览
通过拖拽文本输入框、粘贴或
点击此处
上传图片、音频和视频。
轻点或粘贴此处上传图片
评论
· 注册或登录以发表评论
- +3