前言

在深度学习模型日益复杂、算力需求持续攀升的背景下，异构计算架构成为 AI 基础设施演进的重要方向。昇腾 NPU 作为华为自研的神经网络处理器，凭借其达芬奇架构在算子级并行与片上内存效率方面展现出显著优势。然而，硬件潜力的充分释放离不开上层软件栈的精密编排——这正是 昇腾NPU的CANN（Compute Architecture for Neural Networks）扮演的关键角色。CANN 是华为面向 AI 场景打造的统一编程框架，其中 GE（Graph Engine）作为计算图编译优化的核心引擎，承担着将用户定义的高层神经网络模型转换为可在昇腾 NPU 高效执行的底层指令序列的职责。

GE 的核心职责可以概括为四个维度：算子融合、内存规划、执行流调度与多流并行控制。算子融合通过识别计算图中可合并的相邻算子，减少内核切换开销与中间结果的访存次数；内存规划则负责对张量生命周期进行精细管理，优化片上存储复用率，降低带宽压力；执行流调度将经过优化后的计算图映射到硬件执行单元，实现指令流水线的有序推进；多流并行机制允许不同计算路径在相互独立的执行流上并发运行，从而充分利用硬件的并行吞吐能力。此外，GE 还支持 AOE（Adaptive Optimizer Engine，自动算子增强）与自动 Tiling 等高级特性，帮助用户在无需深入了解硬件细节的前提下获得接近手工调优的性能表现。本文将从概念拆解的视角出发，系统剖析 GE 的架构设计与核心实现机制，为希望深入理解 CANN 底层能力、进而优化昇腾 NPU 上 AI 模型训练与推理过程的开发者提供一份完整的技术参考。

一、GE 在 CANN 架构中的定位与层次

理解 GE 的技术全貌，需要先厘清其在 CANN 整个软件栈中的位置与交互关系。CANN 的架构可以从下到上划分为三层：底层是硬件抽象层，负责与昇腾 NPU 的物理硬件进行交互，封装驱动接口与内存管理单元；中间层是图编译与算子执行层，即 GE 所在的核心区域，承接上层模型的图级表示并将其转化为可执行的任务描述；最上层是前端接口层，提供 Python、C++ 等语言绑定，供用户以熟悉的编程范式定义神经网络结构。

GE 处于中间层的枢纽位置，这一角色决定了它必须同时理解两端的语义——既要解析前端传入的计算图描述（如 TensorFlow 风格的数据流图或 PyTorch 的动态计算图经过 ONNX 适配层转换后的静态表示），又要生成符合底层硬件约束的低级执行计划。这种承上启下的定位使得 GE 成为 CANN 性能优化的主战场：几乎所有与模型结构相关的优化策略——无论是指令级并行、内存复用还是异构资源调度——都需要在 GE 层做出决策与实施。

从技术演进的视角来看，GE 并非一个静态的编译器，而是一个持续进化的智能优化平台。其设计理念融合了传统编译器工程的成熟方法（如 SSA 形式、中间表示优化 Pass 流水线）与 AI 场景的特定需求（如动态 Shape 处理、子图划分与批量并行）。这种双重特性使得 GE 既能运用通用编译优化的成熟技术，又能针对神经网络计算的独特规律进行深度定制。

二、核心概念：Session、Graph、Tensor 与 Stream

GE 的概念体系围绕四个核心实体展开，理解它们之间的交互关系是掌握 GE 工作原理的基础。

Session 是 GE 中的顶级容器对象，代表一次完整的模型加载与执行生命周期。用户在创建 Session 时需要指定设备上下文、资源分配策略以及各种执行参数。Session 负责管理所有与之关联的运行时资源，包括已编译的计算图、分配的内存缓冲区以及已创建的执行流。一个 Session 通常对应一个模型实例，在训练场景中可以在同一 Session 内进行多轮迭代执行，在推理场景中一个 Session 往往贯穿整个服务生命周期。Session 的生命周期管理涉及资源的申请与释放顺序、异常恢复机制以及多 Session 间的资源共享策略等复杂问题。

Graph 是计算图的抽象表示，描述了算子之间的数据依赖关系与执行顺序。GE 中的 Graph 采用有向无环图（DAG）的拓扑结构，其中节点代表算子（Operator），边代表张量（Tensor）的流动方向。在模型编译阶段，GE 会对 Graph 进行多轮深度优化，包括公共子表达式消除、死代码消除、常量折叠等传统编译器优化，以及专为神经网络设计的算子融合、布局转换优化等高级变换。Graph 的构建过程通常从模型文件的解析开始，经过算子映射、形状推断、类型推断等步骤，最终生成一个完整的、经过初步验证的计算图表示。

Tensor 在 GE 中不仅仅是一个数据容器，更是一个携带丰富元信息的执行单元描述符。每一个 Tensor 关联着形状（Shape）、数据类型（DataType）与内存布局（Memory Layout）等核心属性。形状信息用于编译期的内存规划与运行期的边界检查；数据类型决定算子的实现路径与精度策略；内存布局则直接影响向量化访问效率与跨算子的数据传递方式。GE 在内存规划阶段会追踪每个 Tensor 的生命周期——即从产生到被最后一个消费者算子消费之间的区间——并基于生命周期分析结果进行内存复用优化。

Stream 对应昇腾 NPU 上的硬件执行流，是 GE 调度指令序列的基本单位。Stream 的概念借鉴了 CUDA 编程模型中 stream 的语义：一个 Stream 是一个严格有序的指令序列，同一 Stream 内的指令按提交顺序执行，而不同 Stream 之间的指令则可以并行执行。GE 利用 Stream 机制实现粗粒度的并行化：将计算图中相互独立的子图分配到不同的 Stream 上同时执行，从而在硬件层面实现真正的并发。在更深层的实现中，每个 Stream 还关联着事件（Event）机制，用于在需要严格同步的点位（如跨 Stream 的数据依赖）插入同步操作。

三、计算图编译优化的全链路流程

GE 的编译优化流程是一个多阶段、多 Pass 的递进式处理过程，从高层模型描述到低层可执行指令之间经历多个精心设计的转换步骤。

3.1 图构建与前端适配

编译流程的起点是前端适配。不同的深度学习框架有着各自独特的模型描述方式——PyTorch 采用动态图机制，TensorFlow 使用静态数据流图，而 MindSpore 等框架则原生支持静态图模式。GE 通过统一中间表示（IR）层来弥合这些差异：无论原始模型来自何种框架，都先被转换为 GE 内部的标准化图表示。这种统一 IR 的设计使得后续所有的优化 Pass 都可以独立于源框架运行，大幅提升了优化逻辑的复用性与可维护性。

在前端适配阶段，GE 还需要完成形状推理（Shape Inference）与类型推断（Type Inference）两项工作。形状推理根据算子的输入形状与数学定义推导出输出形状，这在动态 Shape 场景中尤为重要——用户可以使用 None 或 -1 等符号来表示维度，GE 在编译阶段尽力将其推断为具体值以启用更多优化手段。类型推断则确定每个张量的具体数据类型（float32、float16、int8 等），这直接关系到算子实现的选择与精度管理策略。

3.2 图级优化 Pass 流水线

进入优化阶段后，GE 按照预定义的 Pass 流水线对计算图进行逐层深化处理。Pass 流水线的组织方式借鉴了 LLVM 的编译器框架思想：每个 Pass 负责完成一类特定的优化或转换任务，多个 Pass 按拓扑顺序串联执行，形成一个完整的优化管道。

早期的 Pass 主要进行与硬件无关的通用优化。公共子表达式消除（Common Subexpression Elimination）识别计算图中重复出现的相同子图，避免冗余计算；死代码消除（Dead Code Elimination）移除不会被任何下游算子消费的计算节点，减少无效计算开销；常量折叠（Constant Folding）将编译期可求值的常量表达式预先计算为字面量，直接替换到图中。

中期的 Pass 则引入与硬件特性相关的优化决策。算子融合（Operator Fusion）是这一阶段最核心的优化手段，其核心思想是将计算图中相邻的多个小算子合并为一个更大的融合算子，从而减少 kernel 启动的固定开销、消除中间结果的全局内存写入与读取开销、增加算子边界的对齐访问效率。常见的融合模式包括：卷积加批归一化的融合（Conv + BatchNorm Fusion）、矩阵乘法加激活的融合（GEMM + Activation Fusion）以及多层感知机中全连接层序列的融合等。算子融合的收益分析需要综合考虑融合后算子的代码体积、对寄存器压力的影响以及shared memory的使用效率，GE 内置的代价模型会对融合必要性进行评估，避免过度融合反而导致寄存器溢出或 shared memory 竞争。

后期的 Pass 聚焦于执行映射与资源分配。图会被划分为多个执行域（Execution Domain），每个域对应一组可在同一硬件单元上协同执行的算子集合。随后，GE 根据昇腾 NPU 的硬件拓扑结构——包括 AI Core 的数量、AI CPU 的配置以及 DVPP（Digital Vision Pre-Processor）等专用硬件单元的可用性——将执行域映射到具体的物理设备资源上。

3.3 后端代码生成与调度

优化后的计算图最终需要转化为可在昇腾 NPU 上实际运行的指令序列，这一过程由后端代码生成模块负责。代码生成器根据每个算子的具体实现（Impl）选择对应的内核代码——这里的实现可以是预编译的优化内核（由华为提供的经过高度手工调优的算子实现），也可以是经由 AOE 自动生成的自定义算子。生成的指令序列被打包为运行时任务（Runtime Task），并与内存分配计划、设备亲和性信息一同打包为最终的可执行工件（Executable）。

四、内存规划的艺术：生命周期分析与复用策略

内存优化是深度学习编译器中公认的难点之一，而 GE 在这方面的设计尤为精妙。昇腾 NPU 的片上内存（On-chip Memory）容量有限，但带宽远高于片外内存（Off-chip Memory，如 HBM）。因此，内存规划的核心目标是在有限的片上存储空间中容纳尽可能多的活跃张量，从而减少对高延迟片外内存的访问次数。

GE 采用基于生命周期（Live Range）的内存规划算法。生命周期指的是一个 Tensor 从被产生到被最后一个消费者算子使用完毕之间的时间区间。对于计算图中的每一个 Tensor，GE 会计算其生命周期的起止边界，进而生成完整的生命周期区间表。在此基础上，GE 运用区间着色（Interval Coloring）思想进行内存复用：对于生命周期不相交的两个 Tensor，可以分配相同的物理内存地址，从而在片上存储中腾出空间供其他张量使用。

以下代码段展示了 GE 内存规划器在进行生命周期分析时的典型数据结构定义。

// WHY: 定义 Tensor 的生命周期区间是内存规划的基础数据结构
// 每个 Tensor 包含唯一标识符、维度信息、数据类型以及活跃区间 [start, end]
struct TensorLifeInterval {
    uint32_t tensor_id;          // 张量全局唯一标识符
    std::vector<int64_t> shape; // 张量维度信息
    DataType dtype;              // 数据类型，用于计算所需存储大小
    int64_t life_start;          // 生命周期起始点（以算子序号为单位）
    int64_t life_end;            // 生命周期结束点
    size_t storage_size;         // 按字节计的存储需求
};

在实际生产环境中，一个中等规模的深度学习模型可能包含数千个张量，逐一手动管理其内存分配显然不切实际。GE 的内存规划器自动完成这一过程，并将最终结果编码到执行工件中。运行时，内存管理器严格按照规划方案分配与释放缓冲区，用户代码几乎感知不到这一层存在。

以下代码段展示了 GE 内存复用决策的核心逻辑片段。

// WHY: 基于区间着色的内存复用算法避免手动管理缓冲区
// 当两个 Tensor 的生命周期完全不重叠时，复用策略尝试复用同一块物理地址
void MemoryPlanner::assignAddress(TensorLifeInterval& tensor) {
    for (auto& entry : address_pool_) {
        // 检查候选地址对应的 Tensor 生命周期是否与当前 Tensor 不重叠
        if (!isOverlapping(entry.life_interval, tensor)) {
            tensor.address = entry.address;
            entry.life_interval.life_end = tensor.life_end;
            return;
        }
    }
    // 所有候选地址均冲突，分配新地址
    tensor.address = allocateNew(tensor.storage_size);
    address_pool_.push_back({tensor.life_interval, tensor.address});
}

内存规划的另一个重要维度是布局优化（Layout Optimization）。深度学习模型中的张量通常以 NCHW（Batch, Channel, Height, Width）或 NHWC 等特定格式存储。不同的算子可能对输入输出布局有不同的偏好，例如某些融合算子在内侧维度对齐到 32 或 64 时效率显著更高。GE 会在编译期分析前后算子的布局兼容性，必要时自动插入布局转换算子（Transpose/Reshape），以最小的转换开销换取更大的算子融合收益。

五、执行流调度与多流并行机制

昇腾 NPU 的硬件架构天然支持指令级并行与任务级并行两个维度的并发执行。GE 的执行流调度模块负责将编译优化后的计算图高效地映射到这种并行执行模型上。

执行流调度的核心挑战在于如何在保证数据依赖正确性的前提下最大化并行度。计算图中的依赖关系表现为两种形式：数据依赖（一个算子的输出是另一个算子的输入）与控制依赖（由用户代码显式指定的执行顺序约束）。对于数据依赖，GE 利用 Stream 机制来实现细粒度的并行控制——当两个算子之间不存在数据依赖时，它们可以被分发到不同的 Stream 上并行执行；当存在数据依赖时，通过 Event 同步机制在下游 Stream 的适当位置插入等待操作。

多流并行的实现涉及几个关键设计决策。首先是 Stream 数量的确定：Stream 过少会导致并行度不足，无法充分利用硬件的计算单元；Stream 过多则会引入额外的上下文切换开销与内存资源消耗。GE 内置了一个启发式策略，根据计算图的拓扑结构与硬件配置自动决定最优 Stream 数量。

其次是跨 Stream 数据传输的管理。当两个在不同 Stream 上执行的算子之间存在数据依赖时，数据必须通过显式的内存拷贝或 Device-Buffer 原地重映射来传递。GE 在编译期会分析这类跨 Stream 依赖的分布，选择开销最小的数据传输路径——优先使用 zero-copy 方式的原地操作，仅在必要时执行实际的数据搬运。

以下代码段展示了 GE 调度器创建执行流与插入同步事件的基本接口模式。

// WHY: Stream 是并行执行的基本调度单元，Event 机制处理跨 Stream 依赖
// 创建执行流并配置并行策略是调度器的核心职责
class GraphScheduler {
public:
    // 创建指定数量的并行执行流
    std::vector<StreamHandle> createStreams(int stream_count, DeviceContext& ctx);

    // 为计算图中的每个算子分配执行流，返回算子到流的映射关系
    std::unordered_map<OpHandle, StreamHandle> assignStreams(
        const CompiledGraph& graph,
        const std::vector<StreamHandle>& streams
    );

    // 在指定 Stream 的指定位置插入同步事件，等待另一个 Stream 完成
    void insertWaitEvent(StreamHandle wait_stream, EventHandle wait_event);
    void insertRecordEvent(StreamHandle record_stream, EventHandle record_event);
};

调度策略本身也分为多种模式。贪心调度（Greedy Scheduling）按拓扑顺序逐一处理算子，每次选择当前可调度且资源可用的算子分配执行流，实现简单但可能陷入局部最优。更高级的调度策略会综合考虑算子的计算量预估、数据传输开销与硬件负载均衡等因素，生成全局更优的调度方案。GE 在不同场景下自适应选择调度策略：对于结构规整的典型 CNN 模型，贪心调度配合简单的负载均衡启发式规则通常足够有效；对于结构复杂的 Transformer 模型或包含大量分支的动态计算图，则启用更精细的调度规划算法。

六、AOE 自动算子增强与自动 Tiling 机制

在标准算子库无法满足特定模型需求时，GE 提供了两大自动化扩展能力：AOE（Adaptive Optimizer Engine）与自动 Tiling，分别从算子实现生成与数据分块两个层面弥补手工优化的空白。

6.1 AOE 自动算子增强

AOE 的设计背景源于一个现实矛盾：深度学习框架日新月异，新型模型结构层出不穷，而硬件提供的标准算子库无论如何丰富，都难以覆盖所有可能的计算模式。当用户的模型中包含自定义算子或标准库未涵盖的计算逻辑时，传统做法是要求用户自行编写适配昇腾 NPU 的算子实现——这需要开发者具备相当的硬件知识与并行编程经验，门槛极高。

AOE 的出现改变了这一局面。用户只需提供算子的数学定义（通常以 TIK（Tensor Iterator Kernel） DSL 或其他高层描述语言编写），AOE 即可自动生成可在昇腾 NPU 上高效执行的优化实现。AOE 的生成流程包括以下几个关键阶段：首先对用户提供的算子描述进行语义解析，建立计算的数据流图表示；随后进行算法层面的优化，包括消除冗余操作、简化索引计算、重排循环层次等；接着根据昇腾 NPU 的硬件特性（向量计算单元容量、矩阵计算单元组织方式、shared memory 大小等）选择最优的实现策略；最后生成最终的算子代码并进行编译验证。

AOE 的核心价值在于将硬件相关的优化决策从用户侧转移到编译器侧，使得 AI 研究者与工程师能够专注于模型本身的创新，而不必被底层实现细节所困扰。同时，AOE 生成的内核经过自动化的策略搜索与代价模型评估，往往能够接近甚至达到手工调优的性能水平。

6.2 自动 Tiling 策略

自动 Tiling 是另一个显著降低编程难度的特性，其解决的问题场景是：当算子的输入数据规模超出了硬件单次处理能力时，如何将数据切分为多个可分片处理的块（Tile），并确保各块计算结果的拼接与原始语义完全一致。

在昇腾 NPU 的矩阵计算单元中，每次矩阵乘法运算的输入矩阵大小有上限约束。当用户模型中的矩阵乘法规模超过这一上限时，必须将大矩阵分割为多个小块分别计算，再将结果按正确的位置拼接回去。Tiling 策略的选择直接影响最终性能：过大的 Tile 可能导致片上寄存器溢出或 shared memory 不足，进而触发 spilling（将中间结果写回带宽更低的全局内存）；过小的 Tile 则会增加循环开销与同步次数。

GE 的自动 Tiling 模块会根据每个算子的实际输入规模与硬件约束条件自动确定最优的 Tile 尺寸组合。自动 Tiling 的决策过程综合运用了启发式规则与代价模型评估：对于规模较小、形状规整的常见算子组合，直接应用预设的规则快速确定 Tiling 参数；对于规模较大或形状特殊的算子，则启用搜索算法在可行域内探索更优的分块方案。此外，自动 Tiling 还与内存规划紧密配合——Tile 尺寸的选择会影响中间结果的片上驻留需求，进而影响内存复用策略的有效性，两者需要联合优化才能得到全局最优解。

七、端到端执行效率对比

在生产环境中，将模型通过 GE 进行编译优化后再执行，相比未经优化的直接执行方式，在端到端性能上有显著提升。以下表格从几个关键维度对比了优化前后的差异。

优化维度	使用前	使用后
算子融合	逐算子逐一调度，中间结果频繁写回全局内存	融合算子合并多个小算子，减少 kernel 启动开销与内存访问次数
内存规划	张量各自独立分配存储，无生命周期复用	基于生命周期分析进行内存复用，降低峰值显存占用
执行调度	单一流顺序执行或简单并行	多流并行调度，独立子图并发执行充分利用硬件计算单元
自定义算子	需要手工编写硬件适配代码，开发周期长	通过 AOE 自动生成优化内核，降低开发门槛并保证性能
大规模算子	直接执行超出硬件单次处理能力的算子导致失败或性能急剧下降	自动 Tiling 智能切分数据块，保障大规模算子的可执行性与效率

需要说明的是，上述对比反映了 GE 编译优化在各维度上的通用效果。具体到特定模型，收益的幅度取决于模型本身的结构特征——计算密集型模型（如 Transformer 架构）在算子融合与多流并行方面的收益通常更为显著，而访存密集型模型则可能从内存规划优化中获得更大收益。开发者在实际调优过程中应结合 Profiling 工具定位具体瓶颈，选择性地启用或调整对应优化策略。

八、典型应用场景与实践建议

GE 的设计使其在多种应用场景中都能发挥关键作用。训练场景下，GE 通过编译优化显著缩短了每次迭代的执行时间，考虑到训练过程往往需要数千至数万次迭代，微小的单步性能提升经过累积后将带来可观的时间成本节约。多卡分布式训练场景中，GE 还能与通信库协同优化，在计算与通信重叠、梯度聚合策略等方面提供额外的性能增益。

推理场景中，延迟敏感型应用（如在线语音识别、实时视频分析）对每次推理的耗时有着严格要求。GE 支持对推理计算图进行针对性优化，包括算子融合以减少推理路径长度、INT8 量化以提升吞吐量上限以及内存预分配以减少运行时的动态分配开销。对于高并发推理服务，GE 的 Session 复用机制允许在同一个设备上高效运行多个推理实例，通过智能的资源隔离与公平调度实现硬件利用率与服务吞吐量的双重提升。

九、小结

GE 作为 CANN 的图编译引擎，其技术演进轨迹与昇腾 NPU 硬件能力的升级紧密交织。随着昇腾 NPU 每一代产品的推出，GE 都需要适配新的硬件拓扑结构、新的指令集特性与新的内存层次结构。这种软硬协同的演进模式既是挑战也是机遇——硬件能力的提升为 GE 提供了更大的优化空间，而 GE 的持续进化也在驱动硬件设计反馈循环的形成。

---

参考链接

https://atomgit.com/cann/ge