深入理解华为 CANN 算子开发：从 Tiling 原理到动态 Shape 的高性能实现

在昇腾 AI 生态中，CANN（Compute Architecture for Neural Networks）是连接 AI 框架与昇腾硬件的关键基础软件平台。随着昇腾硬件算力的不断提升，如何发挥 AI Core 的最大性能，成为算子开发者必须掌握的核心技能。其中，“Tiling（数据分块）技术” 与 “动态 Shape 支持” 是 Ascend C 算子开发体系的两大重点，也是各类认证考试的重要考点。

本文将结合实践经验，系统阐述 Ascend C 中的 Tiling 思想、不同 Shape 模式下的实现差异、动态 Tiling 的设计方法以及多核并行策略。目标是帮助开发者从原理到实践全面掌握 Tiling 的使用方法，为构建高性能自定义算子奠定坚实基础。

---

训练营简介

2025年昇腾CANN训练营第二季，基于CANN开源开放全场景，推出0基础入门系列、码力全开特辑、开发者案例等专题课程，助力不同阶段开发者快速提升算子开发技能。获得Ascend C算子中级认证，即可领取精美证书，完成社区任务更有机会赢取华为手机，平板、开发板等大奖。

报名链接：https://www.hiascend.com/developer/activities/cann20252#cann-camp-2502-intro

一、为什么 Ascend C 必须使用 Tiling？——从硬件架构说起

AI Core 内部的存储结构天然决定了 Tiling 必须存在。

存储区域	特点	适用场景
Global Memory	容量大、带宽低	存储完整输入 / 输出
Local Memory（UB）	容量小（几十 KB），但带宽极高	算子计算使用的快速缓存区域

在大多数算子中，输入和输出数据规模远大于 UB 容量，不可能一次性搬入。因此计算必须按照 “分块 → 计算 → 回写 → 再分块” 的方式进行，这就是 Tiling 计算模型。

Tiling 的目标不仅是“把数据塞进 UB”，更重要的是：

• 减少访存次数，最大化 UB 利用率；
• 平衡多核计算负载；
• 控制流水处理的颗粒度，提高整体吞吐率。

合理设计的 Tiling 策略能够带来数倍到数十倍的性能提升，是 Ascend C 性能优化的核心。

---

二、固定 Shape 与动态 Shape：两种算子开发模式的本质差异

算子开发中，shape 是否固定决定了 Tiling 实现的复杂度。

---

1. 固定 Shape：简单、直接，但缺乏灵活性

固定 shape 的特征是：

• 输入张量的大小在编译期已经确定；
• Tiling 参数可以在 host 端提前算好；
• kernel 内可以使用常量控制逻辑。

典型代码结构（示意）：

constexpr int BLOCK_DIM = 8;
constexpr int ALIGN_SIZE = 32;

优点：

• 逻辑简单；
• 性能容易做到极致；
• 调试成本低。

缺点：

• 每种输入尺寸都要生成新的二进制文件；
• 适应性差，在真实 AI 服务中无法运行。

固定 Shape 算子适用于：教学、验证、内部固定网络结构。

---

2. 动态 Shape：灵活强大，但要求更高的设计能力

动态 shape 场景中：

• shape 在运行时才知道；
• Tiling 结果需要根据实际参数计算；
• kernel 需要解析 Tiling 结构体。

代码示例（概念）：

GET_TILING_DATA(tiling, tilingData);
op.Init(x, y, z, tiling.totalLen, tiling.tileNum);

优点：

• 一个算子二进制即可覆盖大部分场景；
• 适用于真实 AI 框架调用；
• 结构优雅，可扩展性高。

难点：

• Tiling 需要适配多种输入模式；
• 性能优化更复杂；
• 调试过程中需同时处理 Host / Device 两侧逻辑。

因此，动态 Shape 是 Ascend C 算子开发的真正核心能力。

---

三、动态 Tiling 结构体：算子调度的灵魂设计

在动态 shape 模式下，算子计算的参数需要传递到 Device，其载体就是 Tiling 结构体。

Tiling 结构体包括哪些内容？

不同算子不同，但通常包含：

字段	含义
totalLength	输入数据总长度（按对齐后长度计算）
tileNum	UB 内需要分成多少次搬运
blockLen	每次核内处理的数据大小
shape 信息	输入张量的维度，如 N/H/W/C
数据类型信息	是否 fp16、bf16、int8 等

典型结构体示例（示意）：

struct AddTiling {
    int32_t totalLength;
    int32_t tileLength;
    int32_t tileNum;
};

这些字段由 Host 端算出，拷贝到 Device 后供内核使用。

---

四、Tiling 从 Host 到 Device：数据流的完整路径

动态 shape 的 Tiling 传输过程包含三个步骤：

1. Host 端申请 Tiling 内存

aclrtMallocHost((void**)&tilingHost, tilingSize);

2. Device 端申请空间

aclrtMalloc((void**)&tilingDevice, tilingSize, ACL_MEM_MALLOC_HUGE_FIRST);

3. Host → Device 拷贝 Tiling 参数

aclrtMemcpy(tilingDevice, tilingSize, tilingHost, tilingSize, ACL_MEMCPY_HOST_TO_DEVICE);

在 kernel 内使用：

GET_TILING_DATA(tilingData, tiling);

至此，kernel 获得完整的输入参数，后续行为完全由 Tiling 控制。

---

五、多核并行与 Tiling 策略：算子性能的真正决定因素

Ascend AI Core 数量多、并行能力强，Tiling 设计不仅要考虑 UB，还要考虑核间均衡。

针对一个总长度为 totalLength 的任务，你必须回答三个问题：

---

1. 核间如何切分？（multi-core split）

常见策略：

• 均分：所有核处理相同的数据量；
• 不均分：最后一个核处理剩余数据。

---

2. 核内如何切分？（UB tiling）

UB 一次无法装下核内所有数据，需要继续切分：

• tileNum：该核内有多少个块
• tileLength：每块的大小

最关键：

所有 tileLength 必须满足 32B 对齐

因为 UB 最小访问单位为 32B。

---

3. 四类 Tiling 组合策略

核间	核内	特点与使用场景
均分	均分	最理想，通用性最强
均分	不均分	输入规模不能被完美切分
不均分	均分	大任务常见
不均分	不均分	最复杂，通常用于高度动态的算子

Tiling 本质是一个“分配策略系统”，而不是简单的数值计算。

---

六、如何把固定 shape 算子升级成动态 shape？（重点）

这是开发者在 CANN 进阶过程中最常做的事。

下面是升级的精华步骤：

1. 把所有“写死的常量”改为 Tiling 参数

例如：

• BLOCK_DIM
• tile length
• shape 维度
• UB 分块数量

全部替换为：

tilingData.blockDim
tilingData.tileLength
tilingData.shapeH
tilingData.shapeW

---

2. 设计 Tiling 结构体（Host 端）

结构体应覆盖：

• shape 信息
• UB 可容纳的数据量
• tileNums
• 对齐后的数据长度

---

3. Host 端写 Tiling 计算逻辑

重点是：

• 32 字节对齐
• 考虑多核
• 兼顾边界情况

---

4. kernel 内解析 Tiling 并执行 Process

示意代码：

GET_TILING_DATA(t, tiling);
KernelAdd op;
op.Init(x, y, z, t.totalLength, t.tileNum);
op.Process();

升级完成后，一个算子就可覆盖大量输入维度，极大提升可用性。

---

七、动态 Shape 的工程调用流程：从编译到运行（全面）

动态算子在 CANN 中的调用链路如下：

1. 算子 Tiling 文件（Python）负责计算 tile 参数
2. 算子 Kernel（C++）根据 Tiling 结构执行计算
3. Tiling Selector 选择合适的 Tiling 策略（可多版本）
4. AscendCL 执行推理 / 训练时加载算子二进制
5. Host 端计算 Tiling → 下发 kernel → 等待执行结束

相比固定 shape，多了两大能力：

• 形状感知（Shape Aware）
• Tiling 灵活调度（Tuning）

这是现代 AI 框架支持动态图计算的必须能力。

---

八、开发者如何系统掌握 Tiling？（学习路线与认证备考）

1. 理论重点

• UB / GM 层次结构
• 32B 对齐原则
• 多核调度策略
• Tiling 结构体设计

2. 实践能力

• 写固定 shape 小算子练手
• 学会调试 Device 侧代码
• 将固定 shape 算子升级为动态 shape

3. 认证考试重点

• Tiling 基础原理
• 动态 shape 相关 API
• Tiling 结构体和 Host–Device 数据流
• 多核调度逻辑设计

这些内容贯穿本文所有章节，也是应试和实战的核心技能点。

---

结语：理解 Tiling，即掌握 Ascend C 性能优化的钥匙

Tiling 并不是简单的数据切片，而是一整套结合硬件特性、存储层次、多核并行和动态调度的系统方法。掌握它，才能真正写出高性能的 Ascend C 自定义算子。

随着 CANN 架构越来越成熟，动态 shape、可调度的 Tiling 策略、多核优化将成为算子开发的标配能力。建议开发者结合实际项目，多做实验、多使用调试工具，才能把 Tiling 理解得更深、更透。

如果你准备参加 Ascend C 认证或者 CANN 训练营，这篇文章的内容能够帮助你快速建立正确的知识结构。