NVIDIA Nemotron 3.5 Transcribe

概览

NVIDIA Nemotron 3.5 Transcribe 是英伟达在 2026 年 10 月 28 日开源的语音识别与语音理解模型，把转写、说话人标注、语音翻译、语种识别和音频问答放进同一个模型里。它以 Nemotron-3.5-Lightning-30B-A3B 语言模型为底座，接上并行专家音频编码器，整体是 Mamba-2 与 Transformer 混合的 MoE 结构，总参数约 34B、每 token 激活约 4.3B（Hugging Face 仓库名为 NVIDIA-Nemotron-3.5-Transcribe-30B-A4B）。输入是音频加一段文本提示，输出是文本；提示里可以要求逐字稿或书面体稿、附上术语表或前文做上下文转写、按说话人分段（最多 8 人）、翻译成另一种语言，或直接就录音内容提问，也可以选择输出词级时间戳。上下文 65,536 token，单段录音最长约 1 小时，覆盖 40 种语言。官方自测 Open ASR 榜单平均词错率 4.71，低于 Qwen3-ASR-1.7B 的 4.94；长音频 10.98、多语种 4.62、多人对话 cpWER 15.80。权重提供 BF16、FP8 和 NVFP4 三种精度，单张 H100 80GB 即可运行，支持 MTP 与 DFlash2 推测解码，并可用 enable_thinking 打开推理模式；NVIDIA 另提供 NIM 推理服务，在单张 RTX PRO 6000 上每秒能处理约 2,238 秒音频（NIM 的优化部分暂未开源）。权重以 OpenMDW-1.1 许可发布，允许商用，可在 Hugging Face、NGC 和 ModelScope 下载，在 build.nvidia.com 在线试用；同时发布的还有多语种语音数据集 Granary v2。官方来源：https://huggingface.co/nvidia/NVIDIA-Nemotron-3.5-Transcribe-30B-A4B 、https://research.nvidia.com/labs/nemotron/NVIDIA-Nemotron-3.5-Transcribe/ 、https://research.nvidia.com/labs/nemotron/files/NVIDIA-Nemotron-3.5-Transcribe-Technical-Report.pdf 、https://huggingface.co/blog/nvidia/nemotron-transcribe-granary （2026-10-29 核对）；说话人上限、13 种标注语言与 31 种互译语言、ModelScope 发布来自 IT之家 https://www.ithome.com/1/019/545.htm 。 定价：权重免费下载（OpenMDW-1.1，可商用）；build.nvidia.com 可在线试用，官方未公布按 token 计价的 API 价格。

模态

音频

参数量

34B（激活约 4.3B，含音频编码器；HF 仓库名 30B-A4B）

许可说明

开源 · OpenMDW-1.1

能力

• +一个模型做多种语音任务：逐字转写和书面体转写、带上下文提示的转写（可传入术语表或前文）、带说话人标注的转写、语音翻译、语种识别和音频问答；输入音频加文本提示，输出文本，可选输出词级时间戳
• +长音频：上下文 65,536 token，单段录音最长约 1 小时，不需要先切片；官方称最多可区分 8 位说话人
• +多语种：覆盖 40 种语言；说话人标注支持 13 种语言，31 种语言可与英语互译（IT之家转述 NVIDIA 发布信息）
• +架构：以 Nemotron-3.5-Lightning-30B-A3B 为底座的 Mamba-2 与 Transformer 混合 MoE，加并行专家音频编码器（Parallel Expert Encoder）；总参数约 34B、每 token 激活约 4.3B；支持 MTP 与可选 DFlash2 推测解码，可用 enable_thinking 开关推理
• +评测（官方自测）：Open ASR 榜单平均 WER 4.71（Qwen3-ASR-1.7B 为 4.94）；长音频 WER 10.98；多语种 WER 4.62；多人对话 cpWER 15.80
• +部署：提供 BF16 权重以及 FP8、NVFP4 量化版，单张 H100 80GB 可运行；NVIDIA NIM 在单张 RTX PRO 6000 上每秒可处理约 2,238 秒音频，30 秒片段约 0.13 秒返回（NIM 优化部分暂未开源）
• +同步开放：权重在 Hugging Face、NGC 与 ModelScope 发布，可在 build.nvidia.com 试用，训练与推理代码在 NVIDIA-NeMo/Speech；同时开放多语种语音数据集 Granary v2