昇腾深度学习计算模式基于达芬奇架构与CANN 异构计算平台，以AI Core 为核心、多级存储为支撑、流水线并行与矩阵分块为核心策略，实现深度学习的高效训练与推理，覆盖单算子、网络级、分布式、混合精度四大计算形态，是国产 AI 算力的核心技术体系。

一、核心硬件计算模式（达芬奇 AI Core）

1.1 三单元协同计算（核心架构）

昇腾 AI Core 采用 ** 标量（Scalar）、向量（Vector）、矩阵（Cube）** 三单元异构并行，是深度学习计算的硬件基石：

• Scalar Unit（标量单元）：指令解码、循环控制、分支判断、地址计算，负责流程调度
• Vector Unit（向量单元）：激活、归一化、池化、元素级运算，单周期支持128 个 FP16 加法
• Cube Unit（矩阵单元）：3D 脉动阵列，专为矩阵乘加（MAC）设计，支持16×16×16矩阵块计算，单周期完成256 个 FP16 MAC，理论算力256TOPS

1.2 数据流水线（计算流程）

昇腾采用数据搬入→格式转换→核心计算→后处理→结果回写五级流水线，异步并行、全链路重叠：

1. 数据搬入：DMA 将数据从 HBM→L2→L0 缓存，权重常驻 L0
2. 格式转换：img2col将卷积滑窗转为矩阵，适配 Cube 计算
3. 核心计算：Cube 执行矩阵乘（GEMM），Vector 完成激活 / 偏置
4. 后处理：池化、归一化、激活函数
5. 结果回写：DMA 将结果从 L0→L2→HBM

1.3 矩阵分块（Tiling）计算

大矩阵分块为16×16适配 Cube 单元，采用分块计算、累加合并：

• 分块：将 M×K×N 矩阵切分为 16×16 小块
• 计算：Cube 并行计算每个小块
• 累加：结果存入累加器，最终合并输出
• 优势：缓存友好、数据复用、算力 100% 释放

二、软件计算模式（CANN + 框架）

2.1 算子执行模式（TBE/AscendCL）

• TBE 算子（AI Core）：矩阵、卷积、全连接、激活等核心算子，硬件原生优化
• AI CPU 算子：控制流、复杂逻辑、非矩阵计算
• 执行流程：框架（PyTorch/MindSpore）→图引擎（GE）→算子映射→AI Core 执行

2.2 静态图 / 动态图混合模式

• 动态图（PyTorch）：灵活调试、即时执行、代码友好
• 静态图（MindSpore）：JIT 编译、算子融合、内存优化、性能提升30–50%
• 昇腾特性：动静统一，支持动态图开发、静态图部署

2.3 混合精度计算（FP16/FP32/INT8）

• FP16：主计算、显存节省50%、速度提升30%
• FP32：梯度、权重、优化器
• INT8：推理量化、速度提升2–4 倍
• 自动转换：torch_npu.amp/MindSpore.amp自动混合精度

三、分布式计算模式（多卡 / 多机）

3.1 数据并行（Data Parallel）

• 数据分片：批量数据分发到多卡
• 前向：多卡并行计算
• 反向：HCCL AllReduce 聚合梯度
• 优势：线性加速比、易用、兼容 PyTorch

3.2 模型并行（Model Parallel）

• 模型分片：大模型跨卡拆分（如 Transformer）
• 流水线并行：层间流水线、重叠计算
• 张量并行：矩阵分片、并行计算

3.3 混合并行（数据 + 模型）

• 千亿模型：数据并行 + 张量并行 + 流水线并行
• HCCL 通信：AllReduce、AllGather、Broadcast、拓扑感知

四、核心计算优势

4.1 极致性能（硬件原生）

• Cube 算力：单 AI Core 256TOPS FP16
• 算子融合：卷积 + 激活 + 偏置合并，减少访存
• 内存优化：多级缓存、数据复用、零拷贝

4.2 全链路优化（软硬件协同）

• CANN：算子库、图引擎、内存管理、通信库
• 框架适配：PyTorch/MindSpore/TensorFlow 原生支持
• 自动调优：AOE 引擎自动选择最优算子、并行策略

4.3 全场景覆盖（训练 / 推理 / 大模型）

• 训练：混合精度、分布式、动态图
• 推理：INT8 量化、低延迟、高吞吐
• 大模型：千亿 / 万亿参数、MOE、分布式训练

五、代码示例（核心计算模式）

5.1 矩阵计算（Cube）

import torch
import torch_npu

# 设备迁移
device = torch.device("npu:0")
A = torch.randn(1024, 1024).to(device)
B = torch.randn(1024, 1024).to(device)

# 矩阵乘法（Cube加速）
C = A @ B  # 自动映射到Cube单元
print("矩阵计算完成")

5.2 混合精度（AMP）

from torch_npu.amp import autocast, GradScaler

scaler = GradScaler()
model = model.to(device)
optimizer = torch.optim.Adam(model.parameters(), lr=1e-3)

for data, label in dataloader:
    data, label = data.to(device), label.to(device)
    with autocast():  # 自动FP16
        output = model(data)
        loss = criterion(output, label)
    scaler.scale(loss).backward()
    scaler.step(optimizer)
    scaler.update()

5.3 分布式数据并行（HCCL）

import torch.distributed as dist
import torch_npu.distributed as npu_dist

def main():
    dist.init_process_group(backend='hccl')
    rank = dist.get_rank()
    model = ResNet50().to(rank)
    model = npu_dist.DistributedDataParallel(model, device_ids=[rank])
    
    for data, label in dataloader:
        data, label = data.to(rank), label.to(rank)
        output = model(data)
        loss = criterion(output, label)
        loss.backward()
        optimizer.step()

5.4 静态图（MindSpore）

import mindspore as ms
import mindspore.nn as nn

class Net(nn.Cell):
    def __init__(self):
        super(Net, self).__init__()
        self.conv = nn.Conv2d(3, 64, 3)
        self.relu = nn.ReLU()
    
    def construct(self, x):
        x = self.conv(x)
        x = self.relu(x)
        return x

# 静态图编译（JIT）
model = Net()
model = ms.jit(model)  # 编译为昇腾静态图
x = ms.Tensor([1, 3, 224, 224])
y = model(x)

六、总结

昇腾深度学习计算模式以达芬奇 AI Core为核心，通过三单元异构并行、矩阵分块、流水线、混合精度、分布式五大技术，构建全栈优化、性能极致、全场景覆盖的计算体系。

• 硬件：Cube+Vector+Scalar 协同，算力256TOPS
• 软件：CANN + 框架，静态 / 动态图、混合精度
• 分布式：数据 / 模型 / 混合并行，支持千亿模型
• 优势：性能提升 30–60%、显存节省 50%、国产自主可控