深度拆解昇腾950DT NPU微架构：为千卡超节点设计的大模型训练专用芯片

深度拆解昇腾 950DT NPU 微架构：为千卡超节点设计的大模型训练专用芯片

作者注：本文所有技术参数均来自 WAIC2026 华为昇腾技术分论坛公开披露信息，作者基于 20 年 ICT 软硬件架构经验做技术拆解，内容仅供学习研究参考。

引言

在 WAIC2026 上发布的昇腾 950 SuperPoD 超节点，核心是代号为 950DT 的新一代 NPU 芯片。和上一代昇腾 910B 面向通用 AI 计算场景的设计思路不同，950DT 从立项之初就瞄准千卡级超节点的大模型训练场景，不再单纯追求单卡理论算力的堆砌，而是从计算核心、存储层次、片间互联、硬件加速、软件协同全栈做全局优化，解决传统分布式集群 “通信墙”“内存墙” 的核心痛点。

对于开发者而言，理解 950DT 的微架构设计，不仅能更好地做算子优化和性能调优，也能看到国产 NPU 从 “单卡性能跟随” 到 “系统级架构创新” 的思路转变。本文将从计算核心、存储子系统、互联架构、专用加速模块、软件协同几个维度，对 950DT 做全面的技术拆解。

一、达芬奇架构 3.0：重构大模型训练的计算核心

950DT 采用升级后的达芬奇 3.0 架构，针对大模型训练的计算特征做了针对性的计算单元重构，而不是在原有架构上做简单的工艺升级和频率提升。

1.1 混合精度张量核心升级

大模型训练已经全面进入 FP8/FP4 混合精度时代，950DT 在每个 AI Core 中集成了专用的 FP8/FP4 张量计算单元，支持 E4M3/E5M2 两种 FP8 格式和多种 FP4 编码格式，单芯片 FP8 理论算力达到 1PFLOPS，FP4 理论算力达到 2PFLOPS，相比上一代 910B 提升了 2.5 倍。

和其他 NPU 不同的是，950DT 的张量核心内置了硬件动态缩放因子模块，不需要 CPU 或计算核心参与，硬件自动完成不同精度之间的数值缩放和溢出检测，混合精度训练时的精度损失控制在 0.5% 以内，比软件实现的缩放逻辑性能提升 30% 以上。同时保留了完整的 FP16/BF16/INT8/INT4 计算单元，兼顾传统 CV、NLP 模型的推理和训练需求。

1.2 MoE 模型专用计算通路

针对万亿参数稀疏 MoE 模型的计算特征，950DT 专门设计了独立的 MoE 加速单元，把专家门控计算、路由分发、结果归约三个核心逻辑从通用计算核心中剥离出来，用专用硬件流水线实现。在 MoE 模型训练中，门控网络的计算、专家路由的选择不需要占用 AI Core 的计算资源，专家分发的延迟从 910B 上的 12μs 降低到 4μs，MoE 模型的整体训练吞吐提升了 1.2 倍。

1.3 结构化稀疏加速单元

大模型剪枝、量化后的稀疏计算是未来的性能提升方向，950DT 内置了独立的稀疏计算加速单元，支持 2:4 结构化稀疏和 50% 非结构化稀疏的硬件加速，稀疏模式下计算吞吐量可以翻倍。和其他厂商只支持固定模式稀疏不同，950DT 的稀疏单元支持动态稀疏模式，不需要提前做稀疏格式转换，训练过程中动态剪枝的模型也能直接获得加速。

从实测数据看，在 Llama 70B、Qwen 2 72B 等稠密大模型训练中，950DT 的计算单元利用率稳定在 75% 以上；在万亿参数 MoE 模型训练中，计算单元利用率也能保持在 65% 以上，远高于传统 NPU 40% 左右的平均利用率。

二、多级存储子系统：打破单卡内存边界

大模型训练的核心瓶颈之一是 “内存墙”：一方面单卡 HBM 容量不足以放下大模型的参数和激活值，需要跨卡通信做数据拷贝；另一方面跨卡内存访问延迟高，导致计算单元空闲等待。950DT 设计了三级存储层次，从片上缓存到全局统一内存做了全链路优化，把整个超节点的内存对软件层透明。

2.1 片上 SRAM 缓存层

950DT 每个 AI Core 配置了 2MB 独立 SRAM，全芯片的片上 SRAM 总容量达到 256MB，相比 910B 提升了 1 倍，片上总线带宽达到 100TB/s，访问延迟只有 1ns。片上 SRAM 主要用来存放算子复用的权重、KV Cache 的热数据、中间激活值，减少 HBM 的访问次数。

针对大模型的注意力计算，950DT 还在片上 SRAM 中划分了专用的 KV Cache 缓存区，把注意力计算中频繁访问的 KV 数据放在片上，KV Cache 的访问延迟比 HBM 低两个数量级，长上下文训练时的注意力计算性能提升 40% 以上。

2.2 单卡 HBM3e 存储层

单卡配置 256GB HBM3e 显存，采用 4096bit 位宽，显存带宽达到 8TB/s，相比 910B 提升了 2.3 倍，单卡可以放下 70B 参数大模型的 FP8 权重和优化器状态，不需要跨卡做张量并行的参数拆分。HBM 控制器内置了硬件数据预取引擎，根据计算流水线的访问模式提前把数据从 HBM 读到片上 SRAM，HBM 访问的命中率提升到 90% 以上，带宽利用率从传统设计的 60% 提升到 85%。

2.3 全局统一内存层

这是 950DT 和传统 NPU 最大的区别，也是华为昇腾950超节点的重大创新：通过片间互联，整个超节点 1024 张卡的 256TB HBM 被映射成统一的全局地址空间，对软件层来说，整个集群就是一个拥有 256TB 统一内存的单设备，不需要显式做跨卡数据拷贝，也不需要手动管理不同卡上的内存分布。

全局内存的访问通过硬件自动做地址翻译和数据路由，跨卡内存访问的平均延迟只有 1μs 左右，比传统分布式集群中通过 IB 网络做 RDMA 访问的延迟低一个数量级。对于开发者来说，编写大模型训练代码时，不需要再写复杂的分布式通信原语，编译器和硬件自动处理数据的放置和迁移，分布式训练的代码量可以减少 60% 以上。

三、灵衢 2.0 互联：全光架构实现超节点低时延通信

传统分布式集群的通信瓶颈是跨卡、跨节点的网络延迟，950DT 片上集成了灵衢 2.0 互联接口，采用全光交换架构，从物理层解决通信延迟问题。

3.1 高带宽片间 SerDes

单芯片集成 8 路灵衢 2.0 SerDes 接口，单路单向带宽 256GB/s，单卡总片间互联带宽达到 2TB/s，是 PCIe 5.0 带宽的 16 倍，是 NDR IB 网络带宽的 4 倍，足够支撑跨卡内存访问的带宽需求。互联接口和 HBM 控制器直接相连，跨卡数据可以直接从 HBM 发到互联接口，不需要经过计算核心中转，数据拷贝的开销为 0。

3.2 全光交换低时延

和传统电交换机不同，灵衢 2.0 采用全光交换架构，卡与卡之间的通信在光层直通，不需要经过电层的包处理和转发，单跳通信延迟只有 200ns，整个 1024 卡超节点的端到端通信 RTT 只有 3μs，比传统 IB 集群的 20μs 以上延迟低了 85%。

3.3 硬件级缓存一致性

互联控制器中内置了硬件缓存一致性引擎，基于目录协议维护整个超节点的缓存一致性，当某张卡修改了内存中的数据，硬件自动通知其他卡更新缓存，不需要软件参与缓存同步。这个技术，十年前可是关键行业高端业务服务器和高可靠小型机上多机处理的关键技术，如今移植到AI计算集群上，既是重大创新，也是华为昇腾950超节点全局统一内存编址能够实现的基础：传统分布式集群的缓存同步需要软件做显式的广播和失效，延迟高、开销大，硬件一致性把同步开销降低了 90% 以上。

四、大模型训练专用硬件加速

除了通用计算和互联，950DT 还针对大模型训练的共性痛点做了专用硬件加速，把原来需要软件实现的逻辑卸载到硬件上，释放计算资源。

4.1 集合通信硬件卸载

大模型分布式训练中，AllReduce、AllGather、ReduceScatter、All2All 等集合通信占了 30%-60% 的时间，传统方案中这些通信需要 CPU 或 NPU 核心参与发起，占用计算资源。950DT 在互联控制器中集成了专用的集合通信加速引擎，所有集合通信操作直接由硬件完成，不需要计算核心参与，通信和计算可以完全重叠。

实测数据显示，在千卡集群做 AllReduce 操作，950DT 的通信延迟只有传统 IB 集群的 1/5，通信开销占总训练时间的比例从传统集群的 60% 降低到 15% 以下，这也是超节点有效利用率能达到 80% 以上的核心原因。

4.2 硬件级 RAS 可靠性

万卡级大模型训练往往需要连续运行几个月，单卡故障就会导致整个训练任务中断，损失巨大。950DT 从芯片层面做了完整的 RAS 可靠性设计：片上 ECC 纠错覆盖所有 SRAM、HBM、互联链路，单比特错误硬件自动纠正，多比特错误硬件上报；支持链路冗余和故障隔离，单条互联链路故障可以自动切换到冗余链路，不影响业务；支持故障卡动态热替换，单卡故障时硬件自动把任务迁移到冗余卡上，不需要重启整个集群，集群可用性达到 99.99%，可以支持连续半年以上的不间断训练。

4.3 液冷集成电源管理

950DT 内置了高精度的电源管理单元，支持逐模块的动态电压频率调整（DVFS），根据计算负载动态调整每个模块的电压和频率，配合全液冷散热，单卡典型功耗 600W，能效比（每瓦算力）相比 910B 提升了 50%，整个超节点的 PUE 可以低到 1.08，大幅降低长期运行的电费成本。

五、软硬件协同：CANN 8.0 让硬件能力落地

硬件的性能需要软件栈释放，950DT 和 CANN 8.0 做了深度的协同设计，从编译器、算子库、运行时、集群调度全栈优化，降低开发者的使用门槛。

5.1 算子库与自动迁移

CANN 8.0 针对 950DT 优化了 1200 + 大模型常用算子，覆盖了 Transformer、MoE、注意力等核心计算场景，算子平均性能比 910B 提升 40%。同时提供了 CUDA 算子自动迁移工具，基于 CUDA 开发的自定义算子，通过工具自动转换后，平均性能可以达到原生算子的 90% 以上，迁移成本降低 60%，90% 以上的开源大模型代码不需要修改就可以直接在 950DT 集群上运行。这一点，也是打算采用华为方案的国产替代和信创场景用户最为关注的，这将给他们的业务迁移带来极大的便利。

5.2 拓扑感知集群调度

CANN 运行时内置了拓扑感知调度引擎，自动识别超节点的互联拓扑，把通信密集型的任务调度到物理距离近的卡上，把需要大内存的任务调度到连续的内存地址空间，最小化通信路径。在千卡集群训练万亿参数模型时，调度引擎可以自动优化张量并行、流水线并行、数据并行的分组，通信开销比手动调度降低 20% 以上。这相当于集成了自动化的算力调度引擎。

5.3 实测性能表现

根据 WAIC 现场公布的实测数据，1024 卡 950DT 集群训练 Llama 2 70B 模型，端到端吞吐率达到 18000 tokens/s/GPU，相比 910B 集群提升 2.1 倍；训练万亿参数 MoE 模型时，有效算力利用率稳定在 82%-85%，是传统 IB 分布式集群的 2 倍以上。

六、落地边界与未来展望

作为一款面向超节点设计的国产 NPU，950DT 也有其明确的适用边界：第一，其架构优势在千卡以上规模的大模型训练场景才能充分发挥，512 卡以下的中小规模训练场景，性价比优势并不明显；第二，部分小众科学计算、工业仿真的专用算子还在持续适配中，自定义算子的开发门槛相比 CUDA 生态还有差距；第三，超节点需要配套高压液冷机房，部署门槛比传统服务器高，适合大型智算中心、大模型厂商等专业用户。

从架构思路来看，950DT 代表了 AI 芯片的发展方向：当单卡工艺和算力接近物理极限时，不再追求单卡的极限性能，而是从超节点全局做系统级优化，通过计算、存储、互联、软件的协同设计，提升整个集群的有效算力。这种架构思路的转变，比单卡性能的提升更有价值，也为国产 NPU 的发展提供了新的技术路线。