DeepInfer 是 DeepSeek于2026 年 10 月正式全面开源的生产级大模型推理框架，

其核心定位是将驱动 DeepSeek 自身大规模线上服务的那套经过极致优化的“骨架”开放给社区。

DeepInfer是专为DS模型(如V4.1-Flash)定制，以更低的成本实现高吞吐、低延迟的推理服务。

 

1 定位与理念

DeepSeek指出模型服务成本取决于推理框架，其效率决定了算力成本与电力消耗。

DeepInfer能帮助开发者和企业优化大规模推理的吞吐与延迟，从而降低 AI 服务的整体成本。

当前发布的是离线推理版本，但已包含在生产环境中验证过的核心调度与算子能力。

2 核心特性与组件

DeepInfer 集成一整套深度优化的技术栈，其核心能力可概括为以下几个层面：

2.1 分布式并行策略

Attention DP / 均衡 CP：数据并行注意力计算，并支持均衡的上下文并行。

MoE EP + EPLB(专家并行与负载均衡)：这是针对 MoE（混合专家）模型的关键优化。

解码采用Wide-EP策略，可将专家并行(EP)规模扩展至64-128 路，大幅降低单卡权重搬运量。

EPLB(专家负载均衡)则通过统计和复制热点专家，将各GPU的负载差异控制在极低水平。

例如moe_lb约 1.09，即最慢卡仅比平均负载多9%的工作量。

2.2 推测解码(Speculative Decoding)

DSpark + 置信度调度验证：使用草稿 Token 加速解码，并根据置信度动态调度验证时机，以平衡速度与准确性。可通过环境变量DEEPINFER_ENABLE_MTP_VARLEN=1启用。

2.3 SWA Bounded Replay

一种优化 Decode 阶段 Prefill 计算量的技术。

它通过只重放一个有界后缀(而非全部上下文)来减少计算量。

对于 V4.1，默认配置会保留覆盖SWA(滑动窗口注意力)窗口及最大回溯长度的 Token 数。

如KEEP_TOKENS=140。

2.4 调度与推理保障

1）异步调度(零开销批调度器)：

默认开启，使 CPU 的批组织与 GPU 计算重叠，隐藏调度开销。

2）确定性推理：

在英伟达平台上，通过设置特定环境变量(如 DEEPINFER_BATCH_INVARIANT=1)和固定随机种子，可确保相同输入必然产生相同输出，这对调试和需要可复现性的场景至关重要。

3）结构化输出：

支持通过正则表达式、JSON Schema 或 EBNF 语法来约束模型的生成格式，直接输出合规的结构化数据。

5）配套组件：

deepseek-recipe，一个用Rust编写、提供 Python 绑定的 Token 编解码库。

其核心价值在于确保社区自托管 DeepInfer 时的 API 行为(如消息格式转换、提示词渲染)与 DeepSeek 官方 API 完全对齐，消除了部署时的兼容性顾虑。

3 硬件与环境

DeepInfer 一个显著的亮点是同时兼容英伟达和华为昇腾两大硬件平台。

平台	支持的硬件	软件环境要求
NVIDIA	SM100 架构 GPU（如 Blackwell）	Linux, Python 3.12, CUDA 13, GCC >= 13.0
华为昇腾	Ascend 950 NPU	Linux, Python 3.12, CANN 9.2, GCC >= 13.0

4 总结

DeepInfer通过针对特定模型的极致优化(如 Wide-EP、EPLB、SWA Bounded Replay)、生产级的稳定性特性(如确定性推理、异步调度)，以及对英伟达/昇腾双平台的支持，为有能力管理大规模 GPU 集群的团队提供了一个经过实战检验的高性能推理选项。

需要注意的是，其生产部署的最小有效单元(如64卡 Prefill + 64卡Decode)门槛较高，它主要面向的是具备集群资源的企业级用户和研究者，而非个人开发者。

inference

---

DeepInfer

https://github.com/deepseek-ai/DeepInfer