DeepInfer

简介

DeepInfer 是深度求索（DeepSeek）用于支撑自家大规模线上服务的高性能推理框架，GitHub 仓库创建于 2026 年 10 月 16 日，10 月 20 日登上 Hacker News 首页（1,600+ 分），截至 10 月 21 日约 1 万星。它最初主要基于 vLLM 构建，并借鉴了 SGLang 与 TensorRT-LLM。这次开源的是离线推理版本：用 DEEPINFER_ACCELERATOR=nvidia（或 ascend）执行 ./build.sh 构建后，运行 python examples/offline_inference.py 即可加载 DeepSeek-V4.1-Flash-1017 生成。官方说明完整的在线推理服务还需要另外搭建 KV 缓存系统、VE / Prefill / Decode 分离部署（引擎侧大部分能力已实现）以及数据并行副本间的负载均衡，这几部分不在本次发布范围内。官方基准在 4 张 SM100 GPU 上测预填充、64 张上测解码，复现脚本在仓库 examples/sweep。除 NVIDIA 外，官方同时适配华为昇腾 950 NPU。官方来源：https://github.com/deepseek-ai/DeepInfer 、https://huggingface.co/deepseek-ai/DeepSeek-V4.1-Flash-1017 。 定价：免费开源（Apache 2.0）；硬件需 NVIDIA SM100 GPU 或华为昇腾 950 NPU，模型权重 DeepSeek-V4.1-Flash-1017 以 MIT 协议免费下载。

• 驱动 DeepSeek 线上大规模服务的推理框架开源版，本次开放离线推理及大规模服务所需的核心能力
• 支持模型DeepSeek-V4.1-Flash（默认加载 Hugging Face 上的 DeepSeek-V4.1-Flash-1017 权重）
• 优化算子FlashMLA、DeepGEMM、DeepEP、TileKernels、DeepSelect 与自研 TileLang 算子
• 并行Attention 数据并行 / 均衡上下文并行，MoE 专家并行 + EPLB 负载均衡
• 加速解码DSpark 草稿 token 与按置信度调度的验证；解码端滑动窗口注意力有界回放，减少预填充计算
• 异步调度CPU 批调度与设备执行重叠，默认开启
• 批次不变推理与确定性采样（仅 NVIDIA）同样输入得到完全一致的输出
• 结构化输出按正则、JSON Schema 或 EBNF 语法约束生成
• 硬件NVIDIA SM100 GPU（CUDA 13）、华为昇腾 950 NPU（CANN 9.2）；Linux、GCC ≥ 13、Python 3.12，从源码构建

界面截图

可左右滑动，或使用方向键、Home 和 End 浏览截图。