Voxtral 3
Hacker News 摘要原标题：Voxtral 3
Mistral AI 推出了 Voxtral 3 系列，包含用于构建端到端实时多步对话的语音智能体 SDK，以及最新的语音转文字和文字转语音模型，覆盖超过 50 种语言。
该产品旨在解决语音智能体构建中常见的四大难点：精准倾听、深度推理、自然表达以及跨系统执行行动。Voxtral 3 支持通过 Mistral 的欧洲托管 API 调用，也支持在用户自有基础设施上私有化部署，确保数据主权并允许用户完全控制数据存储。
核心亮点
• 50 多种语言高精度转写：语音识别模型具备顶尖的多语言转录与说话人日志能力，支持上下文偏差调整来提升专业词汇识别率，并具备话轮结束检测功能。
• 自适应情感表达：语音合成模型支持 35 种以上语言和 50 多种方言，能够根据对话上下文自动调整情感、语速和重音。
• 完整的语音智能体 SDK：将听取、推理、工具调用和发音整合到统一的低延迟流式管道中，可在通话或网页实时交互中完成复杂业务。
• 专业级声音克隆（Pro Voice）：仅需 30 分钟音频样本，即可跨语言精准复刻说话人的特色、情感幅度与说话风格。
• 数据主权保障：提供欧洲托管 API 或本地部署选项，保障敏感会话的安全与合规。
语音转文字能力（ASR）
Voxtral 3 转写模型支持 50 种语言，包括 24 种欧盟官方语言以及多种低资源亚洲和印度语言，全面支持说话人日志（区分说话人）和上下文偏差（导入关键术语提升识别精度）：
• Voxtral Small Transcribe 3：高精度模型，在英语、法语和西班牙语等多语言基准测试中优于 Whisper large-v3、Scribe v2 和 Gemini 3.5 Transcribe。
• Voxtral Mini Transcribe 3：参数量为 40 亿（4B），主打高效且经济的离线转写。
• Voxtral Mini Realtime 3：专为智能体打造的实时转录模型，延迟低于 500 毫秒，支持超过 35 种语言。
• 话轮结束预测（End-of-turn prediction）：原生结合声学和语义信息，精准判断用户何时说完，避免过早打断用户，同时保证低延迟响应。
语音合成能力（TTS）
Voxtral Mini TTS 3.0 / Voxtral Speech 3 支持批处理与实时生成：
• 自然表达与上下文理解：无需额外指令，模型可自动理解文本语义，呈现合适的情感、抑扬顿挫和节奏。
• 指令遵循与发音控制：显式支持用户通过提示词调节情感、语速和重音，并支持非标准音标发音标注。
• 本地化与方言覆盖：覆盖 35 种以上语言和 50 多种方言，在发音、敬语、拼写和本地化习惯（日期、时间、货币等）上深度适配。系统为 18 种主流语言提供了官方预设发音。
• 可靠性与成本优势：在包含数字和专有名词的企业客服评测中表现优异，综合性价比优于同类主流竞品。
语音智能体架构与集成
该语音智能体 SDK 基于 LiveKit 构建：
• 全流式架构：实时转录负责输入和话轮检测，大语言模型（如 Mistral Small）负责推理和工具调用，语音合成模型负责输出。各环节无缝衔接，无需等待上一阶段完全结束，单次回合可在 1 秒内完成。
• 打断机制与工具调用：用户插话时智能体会立刻停止发音。通话过程中，智能体可通过函数调用、网络搜索或企业系统检索，执行身份核验、账单查询或预约挂号等操作。
• 多协议支持与解耦设计：支持通过 SIP 拨打或接听电话，通过 WebRTC 嵌入浏览器与应用程序，方便接入现有的电话、IVR 及呼叫中心软件。各个模型节点相互独立，可随时更换大模型、音色或语言。
模型价格
• Voxtral Mini Transcribe 3（批处理）：每分钟 0.0035 美元
• Voxtral Small Transcribe 3：每分钟 0.0040 美元
• Voxtral Mini Transcribe Realtime 3（实时）：每分钟 0.008 美元
• Voxtral Speech 3（批处理与实时同价）：每 100 万字符 13 美元