Mistral 发布 Voxtral 3 语音模型系列与智能体 SDK

思考

摘要

Voxtral 3 推出了先进的语音代理 SDK 和最先进的语音模型，专为跨越 50 多种语言的实时多轮对话而设计。它集准确转录、可随情绪变化的自然语音合成和深度工具集成于一体，可实现无缝工作流自动化。它可通过 Mistral 托管于欧盟的 API 使用，也支持自行部署，在确保数据主权的同时，为联络中心、虚拟助手和免提副驾驶提供低延迟、类人交互体验。

语音转录和语音生成技术已取得长足进步，但要构建能够倾听、推理、交互并处理复杂工作流的端到端语音代理，仍然很困难。 

可靠的语音代理需要同时做好四件事： 

1. 准确倾听，应对不同语言、口音、说话者和插话，

2. 深入推理，理解用户在特定情境中的意图，

3. 自然表达情绪和语气，以及 

4. 采取行动，通过互联系统完成多个步骤。 

要让这四项能力在实时场景中可靠地协同工作，仍然是一项挑战。 

为此，我们推出 Voxtral 3：全新的先进语音转文本和文本转语音模型系列，以及一款语音代理 SDK，将倾听、思考、调用工具和说话整合到单一实时流式处理管线中。

Voxtral 3 专为打造自然的对话体验而设计，适用于从联络中心代理和服务台到虚拟助手和免提副驾驶等场景。借助对数十种语言、富有表现力的语音、复杂推理以及与自有工具和数据的深度集成的支持，基于 Voxtral 构建的代理能够理解细微的意图、推理复杂请求，并在互联系统中执行多步操作。

与其他 Mistral 模型一样，Voxtral 3 系列专为自主部署而设计。它现已通过 Mistral 托管于欧盟的 API 提供，也支持在自有基础设施上自行部署，让组织能够掌控音频的处理位置、数据的处理方式，以及是否保留对话记录。

亮点

1. 支持 50 多种语言的精准转录。语音转文本模型 Voxtral Small Transcribe 3 在多语言转录方面处于领先水平，可识别每句话的说话者（说话人分离），并利用关键词提升准确度（上下文偏置）。它还能检测说话者何时结束发言，让代理及时响应（轮次结束检测）。

2. 自然语音，随对话灵活调整。文本转语音模型 Voxtral Mini TTS 3 引入了新的语音，可根据对话上下文调整情绪、语速和重音，并支持 35 多种语言和 50 多种方言。

3. 听从（口头）指令，展现类人智能。全新的语音代理 SDK 将倾听、推理、调用工具和说话融入实时体验。代理可在电话或网页上的实时对话中检索信息、与业务系统交互并完成任务。

4. Pro Voice，打造高度精准的语音适配。对于基础语音克隆无法满足需求的专业应用场景，Voxtral 的 Pro Voice 适配功能仅需 30 分钟音频，即可跨语言复现说话者独特的个性、情感表达范围和说话风格。 

5. 在自己的基础设施上运行语音 AI。使用由 Mistral 托管于欧盟的 API，或在自己的基础设施上部署 Voxtral 3。让敏感对话留在自己的环境中，并掌控是否保留任何音频。 

立即试用 Voxtral  | 了解更多

可识别 50 多种语言，准确度达到最先进水平。

Voxtral Transcribe 3 在转录、说话人分离（识别谁在何时说话）和上下文偏置能力方面实现了重大突破。支持的语言扩展至 50 种，包括 24 种欧盟官方语言，以及许多资源稀缺的亚洲语言和印度语言。

Small 版本在说话人分离和多语言转录方面均达到最先进水平，包括英语、法语和西班牙语。其性能优于 Whisper、Scribe v2 和 Gemini 3.5 Transcribe。Mini 版本拥有 4B 参数，可快速、准确地转录，价格为每分钟 $0.0035。

两种模型均支持上下文偏置：用户可提供关键词和自由文本，引导转录并提高专业术语的识别率。因此，无需微调即可将其用于包含特定领域词汇的生产环境。

Voxtral Realtime Transcribe 3 是一款面向智能体应用场景打造的实时转录模型。它支持 35 种以上语言，能以低于 500ms 的延迟实现高质量转录，还支持说话人分离和上下文偏置。

模型原生支持轮次结束预测，结合声学和语义信息，准确预测用户何时说完。这使低延迟语音智能体应用成为可能，同时最大限度减少用户说话被过早打断的情况。

它能以恰当的情感，用你或客户品牌自己的声音和本地口音作答。

Voxtral Mini TTS 3.0 支持批处理和实时模式，在 35 种以上语言和 50 多种方言中实现业界领先的表现力和指令遵循能力。Voxtral Speech 3 的价格为每 100 万个字符 $13，运行成本低于 OpenAI TTS-1、Deepgram、ElevenLabs Flash 和 Gemini Flash 等同类模型。

语音模型能够更好地隐式理解上下文的语义，从而以多种语言和不同情感生成自然语音。新增和改进的功能包括：根据 30 分钟以上的采样音频克隆声音、自定义提示指令遵循（IF）、上下文 TTS，以及词汇库；这些功能均旨在提高模型部署时的语音可靠性。显式 IF 的变量包括 emotion、pacing 和 emphasis。

提示词

我们就此结束争论：它是 GIF。

默认

非标准音素提示：dʒ ɪ f

所有听起来自然的语音都离不开情感，而情感决定了语调、节奏、语速、重音和衔接。Voxtral TTS 能原生解读提示词的文本上下文，以确定情感和声音风格，因此无需额外指令或声音提示，模型本身就更擅长生成自然语音。

展示 Voxtral 在表现力方面的逐步优化，包括数字和独特名称。

提示词

感谢您致电 Mistral！我了解到您在登录 AI Studio 时遇到了困难。可以确认一下您的电子邮件地址吗？我这里显示的是 elena.vance82@yahoo.com，对吗？

Voxtral 1

Voxtral 3

语音在 35 种语言和 50 多种方言中都具有本地化效果。

Voxtral TTS 支持超过 35 种语言和区域方言。我们的多语言评测遵循方言在发音、正式与非正式语体、拼写、详略程度以及地区惯例（时间、日期、温度、地址、货币）方面的差异。

Voxtral 3 多语言库

语音预设支持 18 种语言：阿拉伯语（阿联酋、现代标准）、巴西葡萄牙语、加泰罗尼亚语、中文（普通话）、荷兰语、英语（美国、英国）、法语（法国）、德语、希腊语、印地语、意大利语、韩语、挪威语、俄语、西班牙语（西班牙）和越南语。

语音代理掌控整个对话。

Voxtral 3 推出了基于 LiveKit 构建的语音代理 SDK，可将语音输入、推理和语音输出作为一个流式管道运行。Voxtral Mini Transcribe Realtime 3 负责聆听并检测来电者何时说完话，通用模型（例如 Mistral Small）负责推理和调用工具，而 Voxtral Speech 3 则以符合当前对话语气的方式进行回复。各阶段无需等待前一阶段完成，因此每轮对话都能在一秒内完成；当来电者插话时，代理也会停止说话。

通话期间，代理可以使用函数调用、网页搜索以及对您自有系统的检索来验证来电者身份、查询账单或预约。它可以通过 SIP 接听和拨打电话，通过 WebRTC 在浏览器和应用中运行，并连接到您现有的电话、IVR 和联络中心软件。

每个阶段都是独立模型，因此您可以更换 LLM、声音或语言，而无需重写代理；整个技术栈既可以运行在 Mistral 位于欧洲的 API 上，也可以运行在您自己的基础设施上。

开始使用。

Voxtral 3 即日起可通过 Mistral API 使用，并通过我们的欧洲、美国和全球端点提供托管。

您可以在 Studio 的 Playground 中测试语音代理、音频转录、语音生成和声音克隆。 

如需在本地部署或私有云中运行完整技术栈，请联系我们的团队。