DeepSeek把生产推理引擎DeepInfer开源了,5天16,250星、HN 2051分。干了十几年后端,我的第一反应不是看benchmark,是翻它的"不支持"清单——果然,只支持V4.1-Flash 一个模型,硬件卡死 SM100和昇腾950,KV cache、PD分离、负载均衡三件套明说没给。对个人开发者我的判断是:现在不用试。但特性列表里有两个开关,值得所有做 agent 的人记住。

一、我为什么先翻"不支持"清单

做了这么多年平台架构,我评估任何一个"高性能框架"的顺序是固定的:先看它绑死了什么,再看它没给你什么,最后才看数字。数字是可以挑场景跑的,绑定和缺口是架构期就要还债的。

DeepInfer 的绑定清单(README 原文,10-21 实拉 GitHub API 核验):

• 模型:只有 DeepSeek-V4.1-Flash。没有 “and more”;
• 硬件:NVIDIA SM100(B200 这一代)+ 华为昇腾 950 NPU。手里的 A100/H100 直接出局;
• 形态:offline inference,离线批跑。

所以别喊"vLLM 杀手"。README 自己写得坦白:它本来就建在 vLLM 之上。这是 DeepSeek 把自己生产服务的单机引擎剥出来开源,不是一个通用生态。

二、没给的三件套,才是最贵的那三块

README有一节标题诚实得少见：“Required for a complete inference service (not included in this release)”:KV cache 系统、Prefill/Decode 分离部署、跨副本负载均衡。

这个结构我太熟了。前几天写飞书长连接那篇,本机 5 分钟跑通,但生产必须补两块:event_id 幂等防重投、Redis 多实例分发。demo 和生产的距离,从来不在引擎里,在调度层和状态层。DeepInfer 这次一模一样:引擎给你了,把一个引擎变成在线服务的最贵三块——状态(KV cache)、拆分(PD 分离)、调度(负载均衡)——留在墙内。

不是说它没价值,是说要想清楚自己拿到的是什么:一台发动机的图纸,不是一辆车。

三、"零开销调度"这种话,我持保留态度

特性列表里有一条"asynchronous scheduling (zero-overhead batch scheduler)"——CPU 调度和设备执行重叠,默认开启。

今年 10 月我实测过 JDK21 虚拟线程:固定线程池 200、并发 500 时吞吐反而掉、错误率 14%,换虚拟线程后吞吐 +32%。那篇的结论今天还适用:调度器本身永远不创造容量,它只是把等待藏得更好。虚拟线程造不出下游容量,overlap 调度也造不出 GPU 算力。

“zero-overhead"在工程上是不存在的东西,只有"开销被移到了别人账上”。官方 benchmark 是 4 卡 prefill、64 卡 decode 跑出来的 Pareto 曲线,场景是 DeepSeek 自家的负载分布。你的分布是不是长那样,只有你自己的压测能回答。

四、但这两个开关,是给我这种人准备的

特性列表里真正让我停下来的,是这两条:

• Batch-invariant inference(DEEPINFER_BATCH_INVARIANT=1):同一请求,不管被拼进哪个 batch、和谁的请求一起跑,输出逐 bit 一致;
• Deterministic sampling:同输入 token、同采样参数,输出完全相同。

做支付出身的人对确定性有本能执念。对账系统的第一条铁律就是同一份输入必须算出同一份结果,否则所有审计、回放、资损排查全部失去地基。2025 年 9 月 Thinking Machines 那篇《Defeating Nondeterminism in LLM Inference》把根因讲清楚了——batch 大小影响 kernel 归约顺序,浮点不结合律放大了这个差异。DeepInfer 是我看到的第一个把这个问题做成生产级开关的官方框架。

做 agent 的人应该秒懂这值多少钱。我接 REA 那篇实测时验证过国内模型可以稳定调度工具,但"稳定"只到工具调用层;同一个 prompt 今天和昨天输出不一样,排查时连"模型漂了还是环境变了"都分不清——推理层的暗噪声一直都在,只是以前没人给开关。

再往深处说,这也是 agent 安全的地基问题:AI-Infra-Guard 那篇查的是基建的漏洞,漏洞会报警;而推理不确定性不报警,它只是让你所有的日志审计和行为回放变成一笔糊涂账。观测的前提是可复现,可复现的前提是确定性。

五、我的结论

对 DeepInfer 本身,我的判断不变:个人开发者现在不用试——硬件门槛、单模型绑定、半成品服务栈,三个理由足够。它能不能抢 vLLM 的份额,我也持保留态度,单一模型绑定决定了它首先是 DeepSeek 生态的配套工程。

但它把"批不变推理"从论文搬进了官方生产框架。一个标准一旦被头部厂商立住,vLLM 和 SGLang 迟早要跟进——对不摸 SM100 的大多数人,这才是这次开源的实际红利:确定性推理会从研究奢侈品,变成推理框架的标配 checkbox。

开源一半也是开源。引擎给你看了,服务的答案它自己留着——DeepSeek 的商业边界,画得和它的 kernel 一样清楚。

附录:核验数据

项目	数值	来源
星/fork	16,250 / 1,611	GitHub API,2026-10-21 实拉
建仓/最近推送	2026-10-16 / 2026-10-21	同上
协议 / 语言	Apache-2.0 / Python	同上
支持模型	仅 DeepSeek-V4.1-Flash	README
支持硬件	NVIDIA SM100 / 华为昇腾 950(CUDA 13 / CANN 9.2)	README
未包含	KV cache、PD 分离部署、跨副本负载均衡	README “not included” 节
关键特性	batch-invariant(NVIDIA only)、确定性采样、异步调度、结构化输出	README
官方 benchmark	4 卡 prefill / 64 卡 decode(SM100 scale-up 域)	README,未复现
HN 热度	2051 分 / 803 评	HN front_page,2026-10-21 实拉
未实测	未部署、未跑 benchmark(本机无 SM100 硬件)	见正文

---

相关阅读

• REA 实测:把逆向工程 MCP Server 接进 Claude Code
• 腾讯 AI-Infra-Guard 实测:四层安全扫描跑通,附 3 个真坑
• 并发调优:虚拟线程与背压,别让线程池和下游同时爆掉
• 飞书长连接事件订阅实战:本机 5 分钟跑通,生产要补两块