Humming

简介

Humming 是蚂蚁集团与 vLLM 社区在 2026 年 10 月 21 日通过 vLLM 官方博客宣布开源的量化推理内核库，代码在 vLLM 项目组织下（github.com/vllm-project/humming，Apache 2.0）。大模型做量化部署时，INT4、FP8、NVFP4、MXFP4 等格式和不同 GPU 架构的组合很多，以往每种组合要单独写内核；Humming 把「量化格式描述」和「执行选择」分开，用共享的 CUDA 组件按工作负载和硬件即时编译出内核，所以一套代码就能覆盖稠密与 MoE 两类计算、多种权重和激活精度。普通用户不需要直接调用它：vLLM 0.29.0 起的 CUDA 安装已把 Humming 作为依赖，部署 DeepSeek-V4.1-Flash 等模型时加两个参数即可切换到 Humming 后端。官方给出的基准是 vLLM 社区在 H20、H200、B300、SM120/121 等设备上测的内核微基准，以及端到端吞吐对比，适合关注推理成本的部署工程师参考。官方来源：https://vllm.ai/blog/2026-10-21-humming 、https://github.com/vllm-project/humming 、https://pypi.org/project/humming-kernels/ （2026-10-21 核对）。 定价：免费开源（Apache 2.0）；GPU 算力自理。

• 安装pip install humming-kernels；没有 CUDA 编译器时用 pip install "humming-kernels[cu12]" 或 "[cu13]"；也可 pip install git+https://github.com/vllm-project/humming.git
• 在 vLLM 中使用vLLM 0.29.0 起 CUDA 版本自带 Humming，启动时加 --linear-backend humming --moe-backend humming；vLLM 不再原生支持的格式（如 GPTQ INT3）可用 --quantization humming 兼容加载
• 统一量化表示把不同量化工具导出的格式转换为 Humming 标准格式，权重格式、缩放粒度、零点等分开描述，可自由组合
• 支持矩阵FP16 / BF16 / FP8 / FP4 / INT8 / INT4 激活，8 bit 以下任意权重类型；BF16、FP16、E4M3、E5M2、UE8M0 缩放类型；稠密 GEMM 与 MoE GEMM
• 硬件NVIDIA SM75（Turing）及以上全部架构，以及平头哥真武 810E 等兼容 CUDA 的设备
• 官方数据（vLLM 社区微基准）稠密 W4A16 小批量相对 cuBLAS 约 3–4 倍，H200 大批量约为 Marlin 的 2 倍；B300 上 MoE Grouped 路径最高约 5 倍；Hopper 上 W4A8（MXFP4）约为 DeepGEMM W8A8 的 4.2–4.5 倍
• 轻量只依赖 PyTorch 与 NVCC，按需编译，wheel 包约 500KB；当前版本 0.1.18（2026-10-21）

界面截图

可左右滑动，或使用方向键、Home 和 End 浏览截图。