NVIDIA Nemotron 3.5 Super VL

概览

NVIDIA 开放权重的视觉语言 MoE 模型：120B 总参、每 token 激活 12B，Mamba-2 + Transformer 混合架构，读文本、图像、文档和视频，上下文最长 1M；可开关思考模式，OpenMDW-1.1 许可。 NVIDIA Nemotron 3.5 Super VL 是 NVIDIA 于 2026 年 10 月 15 日在 Hugging Face 与 build.nvidia.com 发布的开放视觉语言模型，面向需要同时读文档、看图表和视频、调用工具的企业智能体。它采用 Mamba-2、MoE 与注意力混合架构，总参 120B、每 token 激活 12B，配 C-RADIO 视觉编码器，上下文最长 1M tokens，并用多 token 预测做原生推测解码。语言主干由 Nemotron 3 Super Base 初始化，再从 Nemotron 3 Ultra Base 蒸馏 1T tokens，并做了印度语言、长上下文与软件工程中期训练。官方提供 BF16、NVFP4 和 Base 三种权重：BF16 参考部署为 4 张 H100 或 2 张 GB200，NVFP4 面向高效部署。思考模式可通过对话模板开关。模型卡列出的语言为英、西、法、德、意、日，未列中文，中文用户使用前建议自测。基准均为官方自测（NeMo Gym 可复现）。许可为 OpenMDW-1.1，可商用。来源：https://huggingface.co/nvidia/NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-BF16 、https://build.nvidia.com/nvidia/nemotron-3.5-super-vl-120b-a12b/modelcard 、https://developer.nvidia.com/blog/nvidia-nemotron-3-5-super-vl-powers-specialized-agents-with-multimodal-reasoning/ （2026-10-21 核对），未补未核实字段。

模态

多模态

参数量

120B 总参 / 12B 激活（MoE）

许可说明

开源 · OpenMDW-1.1

能力

• +架构：交错的 Mamba-2、MoE（每层 512 个路由专家）与注意力层，加 C-RADIO 视觉编码器和视觉-语言连接器；原生多 token 预测（MTP）用于推测解码
• +规模：120B 总参，12B 激活
• +输入：文本、图像、视频（mp4，最长 2 分钟）与文档页图像；输出：文本
• +上下文：最长 1M tokens（具体部署配方可能用更小窗口）
• +思考模式：通过对话模板 enable_thinking=True/False 开关
• +用途：推理、编程、工具调用、文档理解、视频理解，面向企业专用智能体
• +官方吞吐：单 GPU 上智能体任务吞吐最高为同尺寸开源模型的 5 倍（官方说法）
• +版本：BF16（定制与全精度评测，部署参考 4× H100 或 2× GB200）、NVFP4（高效部署，可在 DGX Spark 等运行）、Base BF16（继续训练用）
• +运行时：vLLM、SGLang；也可在 build.nvidia.com（NIM）试用
• +模型卡语言标签：英、西、法、德、意、日（未列中文）
• +随附开源训练配方、数据集与强化学习环境
• +许可：OpenMDW-1.1，可商用