NVIDIA Nemotron 3.5 Bolt 74B-A9B 24GB

概览

NVIDIA 为本地智能体打造的开放权重视觉语言模型：从 Nemotron 3.5 Super VL 压缩为 74B 总参 / 9B 激活，专家权重 2-bit 量化后约 22GB，可装进 24GB 内存，在 RTX Spark 上约 84 tokens/秒；上下文 256K，OpenMDW-1.1 许可。 NVIDIA Nemotron 3.5 Bolt 74B-A9B 24GB 是 NVIDIA 于 2026 年 10 月 15 日与 Nemotron 3.5 Super VL 同日发布的开放权重视觉语言模型，目标是在本地 24GB 内存里跑日常智能体任务，例如网页调研、写作和调试代码，而不必把数据发到云端。它不是从头训练的小模型，而是用 NVIDIA 的 Star Elastic 方法把 120B-A12B 的 Super VL 压缩成 74B 总参、每 token 激活 9B 的混合 Mamba-Transformer MoE，再把专家权重量化到约 2 bit，最终体积约 22GB；配合 LiLiCorr 推测解码，官方在 RTX Spark 上测得约每秒 84 个 token。模型读文本、图像和视频，上下文最长 256K，可开关思考模式并支持工具调用。官方自测在 GPQA Diamond（86.43）、BrowseComp（66.75）、Terminal-Bench 2.1（50.98）等基准上领先 Qwen3.6-35B-A3B 和 Gemma 4 26B-A4B。支持 llama.cpp、Ollama、LM Studio、Unsloth 与 vLLM，许可为 OpenMDW-1.1，可商用。基准均为官方自测。来源：https://huggingface.co/nvidia/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB 、https://research.nvidia.com/labs/nemotron/Nemotron-3.5-Bolt-24GB/ 、https://blogs.nvidia.com/blog/nemotron-3-5-super-vl/ （2026-10-21 核对）。

模态

多模态

参数量

74B 总参 / 9B 激活（MoE）

许可说明

开源 · OpenMDW-1.1

能力

• +架构：Mamba-2–Transformer 混合 LatentMoE + C-RADIO v4-H 视觉编码器；74B 总参、9B 激活（专家 top-K 由父模型的 22 降到 9）
• +压缩：用 NVIDIA Star Elastic 从 Nemotron 3.5 Super VL（120B-A12B）蒸馏压缩，再用量化感知蒸馏（QAD）把专家量化到 IQ2_XXS（每参数约 2.06 bit），其余层用 NVFP4 / Q8_0；BF16 148GB → 约 22.1GB
• +速度：配套 LiLiCorr 推测解码草稿模型，官方在 RTX Spark 上测得约 84 tokens/秒（AIPerf SPEED-Bench）
• +输入 / 输出：文本、图像、视频 → 文本；上下文最长 256K tokens；支持 JSON 输出、思维链推理与工具调用，enable_thinking 开关思考模式
• +语言：模型卡输入语言含英、法、西、意、德、日、印地、韩、巴西葡萄牙语与中文；用例章节称以英语和代码为主
• +官方基准（自测）：GPQA Diamond 86.43、BrowseComp 66.75、Terminal-Bench 2.1 50.98、PinchBench 87.82、WebArena（视觉）50.86、MCP-Atlas 52.20；官方称同等内存占用下 PinchBench 第 1、BrowseComp 与 WebArena 第 2
• +运行：llama.cpp、Ollama、LM Studio、Unsloth、vLLM 等；面向 NVIDIA RTX Spark / DGX Spark，也可在 GeForce RTX PC、DGX Station、RTX PRO 工作站运行
• +同系列：更小的 Nemotron 3.5 Bolt E4B 4GB 官方称 10 月 23 日推出（本条不含）
• +许可：OpenMDW-1.1，可商用