NVIDIA Nemotron 3.5 Bolt E4B 4GB

概览

NVIDIA Nemotron 3.5 Bolt E4B 4GB 是英伟达在 2026 年 10 月 23 日发布的本地小模型，属于 Nemotron 3.5 Bolt 系列（同系列还有 74B-A9B 24GB 版）。它在 Google Gemma-4-E4B-it 的基础上做后训练，约 8B 参数、4B 有效参数，4GB 版是 Q4_K_M 量化的 GGUF 文件，主要给 GeForce RTX 显卡、Jetson 和 RTX Spark / DGX Spark 这类本地设备用，适合本地语音助手、设备助手、游戏里的互动角色和嵌入式界面。它只处理文本，输入和输出各最多 64K tokens，可以开关思考模式并在运行时限制思考预算，后训练覆盖 35 种语言。官方自测成绩（Q4_K_M）：MultiChallenge 55.60、RoleBench 71.21、IFBench 64.00、BFCL-v3 67.31、Tau2-Bench 52.32、RULER 64K 85.76，并称平均比 Nemotron 3 Nano 4B 高约 40%，输出 token 最多少约 80%。在 RTX 5070（12GB）上约占 3.5GB 显存，首 token 548 毫秒，每秒 133.4 个 token。权重在 Hugging Face 发布，同时提供 BF16 版和 DFlash 草稿模型，可用 Ollama、LM Studio、llama.cpp、Unsloth 等运行。许可证为 OpenMDW-1.1，底座 Gemma 4 为 Apache 2.0。后训练数据截止 2026 年 5 月。官方来源：https://research.nvidia.com/labs/nemotron/Nemotron-3.5-Bolt-E4B-4GB/ 、https://huggingface.co/nvidia/NVIDIA-Nemotron-3.5-Bolt-E4B-4GB （2026-10-24 核对）。 定价：开放权重，可免费下载在本地运行；官方没有公布托管 API 价格，本条价格留空。

模态

文本

参数量

约 8B（4B 有效参数，基于 Gemma-4-E4B）

许可说明

开源 · OpenMDW-1.1（底座 Gemma 4 为 Apache 2.0）

能力

• +定位：面向 GeForce RTX 显卡、Jetson、RTX Spark / DGX Spark 的本地小模型，适合本地语音助手、设备助手、游戏角色和嵌入式界面
• +架构：基于 Google Gemma-4-E4B-it 后训练，约 8B 参数、4B 有效参数；4GB 版为 Q4_K_M 量化 GGUF，另有 BF16 版和 DFlash 草稿模型
• +上下文：输入最多 64K tokens，输出最多 64K tokens；文本输入、文本输出
• +思考：可用 enable_thinking 开关思考，并可在运行时设置思考预算；推荐 temperature 1.0、top_p 0.95
• +语言：后训练覆盖 35 种语言（底座预训练 140 多种）
• +成绩（官方自测，Q4_K_M）：MultiChallenge 55.60、RoleBench 71.21、IFBench 64.00、BFCL-v3 67.31、Tau2-Bench 52.32、RULER 64K 85.76；官方称平均比 Nemotron 3 Nano 4B 高约 40%，输出 token 最多少约 80%
• +速度（官方）：RTX 5070 12GB 上占用约 3.5GB 显存，首 token 548ms、133.4 tokens/s；RTX Spark 上 3.1GB、930ms、67.0 tokens/s
• +部署：Hugging Face、Ollama、LM Studio、llama.cpp、Unsloth、Jetson AI Lab、NVIDIA In-Game Inferencing SDK