美国把它清出采购名单的第二天,DeepSeek 把吃饭的家伙开源了

推理引擎 DeepInfer 挂上 GitHub,Apache 2.0,英伟达和昇腾跑同一套代码

10 月 20 日,GitHub 上多了一个仓库。

名字很朴素,DeepInfer。README 第一句话也不绕弯:这是支撑 DeepSeek 大规模生产服务的推理框架。

两天后,一万八千颗星,两千多次 fork。

有意思的不是它有多热。是它出现的时间点——前一天,美国国土安全部刚把一份 7 月就签好的命令挂了出来,要求联邦民事机构把 DeepSeek 从采购渠道和 IT 系统里清出去。措辞里还留了一句尾巴:「用 DeepSeek 技术开发的第三方产品和服务」也算。至于边界在哪,文件没写。

一边被人从门口往外请,一边把自家发动机的设计图贴到网上。

这两件事挤在同一个 48 小时里,我不太相信是巧合。

请添加图片描述

图|来源:GitHub 上线两天,1.8 万星、2000 多次 fork

一、它交出来的不是模型,是发动机

大模型开源,大家早习惯了收一堆 .safetensors。权重拿回来能跑,但跑得快不快、贵不贵,是另一门手艺。

打个不太严谨的比方:模型是发动机,推理框架是变速箱和供油系统。同样一台机器,油供得糙一点,油耗翻倍、还会顿挫;调得好,才能一边跑高速一边省油。

DeepInfer 就是那套变速箱。你在 API 上看到的每一句话,背后跑的都是它。它不管「模型在想什么」,只管「模型怎么被高效地算出来」。

以前不交,是有旧账的。

2025 年 4 月,DeepSeek 解释过为什么不开源内部推理引擎:跟自家集群管理工具绑得太死,而且维护一个大型开源项目,超出了「一支专注做好模型的小研究团队」的能力。这个理由在当时挺实在,不是搪塞。

所以这次不是把压箱底的东西一股脑倒出来。它更像是先拆零件,再交总成。

9 月 30 日,昇腾侧的一整套算子先开了源——TileLang 昇腾后端、DeepGEMM-Ascend、DeepEP-Ascend、FlashMLA、DeepSelect,一个不落。算子到位,发动机总成才能在 20 天后露脸。

拆开看,里面装着这么几样东西。

FlashMLA 管注意力,DeepGEMM 管矩阵乘,DeepEP 管 MoE 的专家并行——还带了个 EPLB,把挤在一起的热点专家复制几份摊到别的卡上去,官方说负载不均衡度能压到 1.03 到 1.09。这几个数看着枯燥,但对跑大规模 MoE 的人来说,是能省下真金白银的那一档。

DSpark 是它的推测解码:一次先猜 5 个 token,再用一个「置信度头」判断哪些值得让主模型去验。官方说,每步要验的草稿 token 少了约三成,生产负载下吞吐提 4% 到 7%。

还有一个叫 SWA Bounded Replay 的东西。听着拗口,其实解决的是一个很具体的问题:长对话跑到一半,缓存缺了一块,是从头再算一遍,还是只补最近那一段?它选后者,只回放最近 140 个 token。官方说,这让长上下文的预填充计算量接近减半。

一句话,它把「怎么省」讲明白了。

而这恰好是过去两年最贵的一门课。

二、它顺手把账本也交了

技术报告里有几行数字,我看了两遍。

单个集群,一天处理 155 万亿 token。按低谷期定价算,每张卡每小时收入 38 美元。

这种数字,一般公司不往外说的。它是成本结构,是毛利,是打仗的底牌。DeepSeek 把它印在了公告里,还配了两张图。

请添加图片描述

图|来源:DeepSeek-AI 官方仓库 prefill:单卡最高 65,536 token/s

请添加图片描述

图|来源:DeepSeek-AI 官方仓库 decode:扛 256 个请求时单卡 25,664 token/s

这两张图,别只看曲线漂亮。

第一张(预填充),横轴是延迟,纵轴是吞吐。最右边那个点,单卡每秒能吞 65,536 个 token——代价是单步要 736 毫秒。左边那个点反过来,快,但吞吐掉到四千。

第二张(解码)更露骨。你想让一张卡同时伺候 256 个请求,它确实能吐出两万五千 token;可这时候每个人的速度只剩每秒 107 个 token,读起来就是一卡一卡往外蹦。想让人读得舒服,就得少扛请求,吞吐立刻掉到一万五、九千。

说人话:吞吐、延迟、成本,这三个角,你只能挑两个。

还有一个数字挺劝退的。官方给的最小可用配置是:4 张卡做预填充,64 张卡做解码。也就是说,想把这套东西跑到「不算浪费」的程度,起手就是六七十张 SM100。

所以别被「开源」两个字骗了。这不是给个人开发者玩的玩具,而是给有整排机柜的人用的说明书。

他们在公告里说,希望分享部署经验,帮开发者降低成本、减少能耗,「让智能以更低的价格触达更广泛的人群」。

这话听着耳熟。但这一次,人家把账本和曲线一起摆出来了。可信度不太一样。

三、它没交的那三块,才是分水岭

README 里有一节,标题写得有点过分坦诚:「完整推理服务所需、但本次未包含」。

三样东西:KV 缓存管理系统、VE/预填充/解码分离部署、跨副本负载均衡。

理由还是那个老理由——跟内部基础设施耦合太深。缓存直接长在内部那套 PB 级的存储集群上,硬抽抽不出来。于是这三块的代码留在了内部,只把设计思路写进了官方长文。

这意味着什么?

你拿到手的是离线推理,不是一个能对外接客的 HTTP 服务。要上线,缓存得自己搭,分离部署得自己切,副本之间怎么分流量得自己写。

说白了:引擎给你了,服务栈没给。

坦白讲,我挺喜欢这个取舍。

一年半前那句「绑太深所以不开源」,其实是把整个问题一起搁下了。这次的做法是:能解耦的拆出来交给你,解不开的如实写在 README 里。承认边界,比含糊承诺更像工程师干的事。

还有一点值得一提。DeepInfer 的地基是 vLLM,设计上还参考了 SGLang 和 TensorRT-LLM,README 里写得清清楚楚,没装原创。vLLM 那边当天就道了谢,说要从 DeepInfer 里取经,改进自家对 V4.1-Flash 的支持。

开源圈这种你来我往,比互相发通稿好看多了。

四、昇腾那条线,才是真正的信息量

如果只支持英伟达,这条新闻的分量会掉一半。

DeepInfer 同时支持 NVIDIA SM100(Blackwell) 和 华为昇腾 950,靠一个环境变量切换:DEEPINFER_ACCELERATOR=nvidia,或者 ascend。一套代码,两条硬件路线。

昇腾侧要 CANN 9.2,英伟达侧要 CUDA 13。Hopper 以及更老的架构不在支持列表里,消费级显卡也跑不了。

真正的铺垫在 9 月 30 日。

那天开的昇腾算子里,DeepEP-Ascend 是最关键的一个。MoE 在昇腾上跑大规模专家并行,那个 all-to-all 通信是业内公认难啃的骨头——卡越多,越容易堵成一锅粥。DeepSeek 和华为把这块啃下来,还顺手开了源。

华为团队深度参与了基于昇腾 950 的 128 卡超节点方案。官方说,多项关键测试里,计算和通信性能已经接近硬件上限。

所以这不是「顺手多做了一家硬件的适配」。这是一条独立的技术路线,走到了能用的地步。

再往远看一层:彭博社 9 月报道,DeepSeek 计划在内蒙古的新数据中心部署至少 16 万张昇腾 950DT。

芯片、算子、引擎、机房,四个环节,对上了。

请添加图片描述

图|智算中心机房示意

五、一边往外推,一边往回给

把两条时间轴并排放,画面会有点荒诞。

那道命令,7 月 24 日依据《联邦采购供应链安全法》签的,10 月 19 日才对外公布,覆盖财政部、国务院、司法部这些民事机构,国防部不在其中。

最要命的是那条第三方条款。不只是 DeepSeek 自己的产品,连「基于 DeepSeek 技术开发」的第三方服务也在清理范围内。可到底算不算、怎么算,文件始终没给明确边界。

对在美国做转售、做托管的那些公司来说,这颗雷就一直悬在头顶。

另一边的数据是这样的:

10 月 12 日到 18 日这一周,全球模型聚合平台 OpenRouter 上,中国模型的调用量是 79.18 万亿 token,同期美国模型 17.36 万亿。差了 4.5 倍。

中国模型已经连续 25 周排在第一。那一周的调用量前五名,全部是中国模型——DeepSeek V4.1 Flash 居首,智谱、小米、腾讯跟在后面。

被以「安全」之名请出门的,恰好是全世界开发者用真金白银的调用量投出来的、最常用的模型之一。

这个反差,比任何一篇公关稿都好使。

六、先别急着吹

有三件事,得先说在前头。

**一是数据全是自家测的。**4 卡预填充、64 卡解码,跑在 SM100 上,配了复现脚本,但发布三天了,还没有第三方跑出结果。昇腾那边更干脆——连公开基准都没放。

**二是只支持一个模型。**仓库里明写着,当前仅支持 DeepSeek-V4.1-Flash,默认加载 1017 版本的 checkpoint。想拿它跑别的开源模型?还得回去用 vLLM 或者 SGLang。

**三是门槛比想象的高。**要 Linux、GCC 13 以上、Python 3.12,加 CUDA 13 或 CANN 9.2;硬件只认 SM100 和昇腾 950。你手里那张 4090,一行代码也跑不起来。

但热度是真的。两天 1.8 万星,Hacker News 的帖子拿了近 1900 分、700 多条评论。评论区里有句话被顶得很高:

「真正的 OpenAI 来了。」

是不是真来了,还得看半年以后,有多少人真的在自家机房里把这套东西跑起来。

但有一件事已经变了。

从今往后,「模型怎么便宜地跑起来」,不再是各家的独家秘密。

权重开源是给鱼,引擎开源是给渔具。这回,连渔具的图纸也摊开了。

至于为什么挑这个时间点摊开——

大概不用猜。


数据来源:DeepInfer 仓库与 README(GitHub,2026-10-20,Apache 2.0)、DeepSeek 官方技术报告与部署问答、美国国土安全部采购排除令(Federal Register,2026-07-24 签发)、OpenRouter 周度调用量统计(2026-10-12 至 10-18)、Bloomberg(2026-09)。

Logo

作为“人工智能6S店”的官方数字引擎,为AI开发者与企业提供一个覆盖软硬件全栈、一站式门户。

更多推荐