Granite Switch 4.1：单一端点支持聊天、决策与语音转写
Granite Switch 4.1: Chat, Decisions, and Speech from One Endpoint
Granite Switch 4.1 发布 8B 和 30B 模型，将自然语言对话、通用与专用决策以及语音转写整合到一个托管端点。模型包含 Decision aLoRA、Guardian aLoRA 和 Granite-Speech-5.0-Turbo-CTC，后者是 OpenASR Leaderboard 上速度最快的 ASR 模型。
文章展示了 Granite Switch 4.1 如何通过共享基础模型 KV cache 复用多个适配器，在单一端点整合聊天、决策与语音转写。
去年春季推出的 Granite Switch 项目支持采用模块化方式开发模型。如今，配备 Decision 适配器和 OpenASR 排行榜上速度最快的 ASR 模型的 Granite Switch 4.1 模型，可以在自然语言回复、通用和专业决策以及语音转文本任务之间高效切换——全部通过一个托管端点完成。
具体而言，Granite-Switch-4.1-8B 和 -30B 模型配置包含：
- 用于通用决策（例如 v1/systemone）的新型 Decision aLoRA，
- 专用的 Guardian aLoRA，在安全相关决策任务上，其平均表现优于 Jev 1.13、Microsoft-Decision-1、GPT-Luna-Decisions 和 Clef-Flash，以及
- Granite-Speech-5.0-Turbo-CTC，即 OpenASR Leaderboard 上速度最快的 ASR 模型，已嵌入其中用于转录任务。
这三项技术（以及底层基础模型）都组合在一个模型中，占用的 GPU VRAM 大致与基础模型单独运行时相同。这意味着使用更少的 GPU 即可获得更多能力。
由于 Switch 适配器采用了高效利用缓存的 Activated LoRAs 构建，因此可以将基础模型生成过程中创建的 KV 缓存复用于后续任何基于适配器的决策。再加上我们团队为加速低秩适配器推理而对 vLLM 做出的近期贡献，以及共置的 ASR 编码器，Granite Switch 4.1 模型可以在聊天请求、决策请求和语音请求之间切换，同时保持极快的速度。
Granite-switch-4.1-8b 可以转录音频、生成摘要、筛查有害内容，并测试 15+ 项通用标记——所有这些都能在单个端点上实时运行。
Granite Libraries：原始决策模型
决策模型并不是什么新事物。我们之前发布的 Granite Libraries 提供了一个专用“决策模型”适配器及其他专用任务适配器的仓库，可以将它们组合成自定义 Granite Switch 模型。虽然 Jev 及其他闭源决策模型侧重于通用性，但我们发现，许多专用的 granitelib 适配器在专业分类任务上的表现可以优于通用模型。
在专业分类任务的评估中，将 granitelib 适配器 与通用决策模型进行比较。
由于适配器共享基础模型的 KV 缓存，因此在通用决策适配器旁添加专业适配器几乎不会增加成本。通用模型可以提供广泛覆盖，而专业模型则能在你所关注的任务上提供更高准确率。
在 Granite-Switch-4.1-30B（冻结的基础 Granite + 4 个专用 aLoRA）与 Jev-27B（冻结的基础 Qwen 模型 + 1 个通用决策 LoRA）之间进行的一场“竞速”中，Granite-Switch-4.1-30B 完成真实世界的 5 步 RAG 工作流的速度远快于其竞争对手。
组合并扩展你自己的 Granite Switch 模型
Granite-Switch-4.1-8B 和 -30B 发布时已“开箱即用”。它们是我们使用一组预定义的实用适配器编译的 Granite Switch 模型。但你不必使用我们的版本。任何人都可以组合自己的 Granite Switch 模型，从 Granite Libraries 中混合搭配适配器，以最符合自身需求。
展望未来，我们认为社区可以使用自定义适配器和第三方适配器来组合并扩展 Granite Switch 模型，这其中蕴藏着巨大的机遇。我们计划发布一个适配器 SDK，用于在 Mellea 中训练适配器，同时还将提供其他教程和 Granite Switch 支持。这些适配器可以是用于增强基于决策的工作流的专用分类适配器，也可以是用于专门语言任务的适配器。你甚至可以使用自定义适配器，教会 Granite 的 3B 参数版本玩经典游戏 Doom。
与 Jev 类似，我们定制的 3B 参数 Granite Switch 模型能够在 Doom 游戏中做出瞬间决策来进行导航，但它的速度达到了每秒 60 - 100 次决策，而 Jev 报告的速度为每秒 10 次决策。1 与 Jev 不同的是，这个 Granite Switch 模型还可以在游戏过程中进行讲解并回答你的问题。
我们期待在未来几周发布有关 Granite Switch 的更多细节和数据，但在此之前，我们鼓励你试用我们最新的 Switch 模型以及这些有助于入门的其他资源。
入门资源
- Granite Switch 4.1 模型卡
- 语音转决策演示
- Granite Switch GitHub 仓库
- Granite Switch 和 Granite Libraries 原始发布博客
- 在 Colab 上创建你自己的 aLoRA v LoRA 竞赛。
脚注
1 https://typesafe.ai/blog/introducing-system-one-models-and-jev
来源：Hugging Face Blog · huggingface.co