CATLASS（CANN Templates for Linear Algebra Subroutines）是昇腾面向矩阵乘（GEMM）类算子的高性能模板库，核心价值是抽象 AICore 硬件架构、屏蔽底层指令细节、通过模板组装实现极致性能。AICore 作为 NPU 核心计算单元，其抽象架构是 CATLASS 开发的基础。

一、AICore 抽象硬件架构核心

昇腾 AICore 采用计算 + 存储 + 控制分离的异构架构，CATLASS 对其进行分层抽象，核心组件如下：

1. 计算单元

• Cube 单元：专用于矩阵乘（GEMM），支持 16×16×16 矩阵运算，核心指令 MMAD。
• Vector 单元：处理向量运算（加法、激活），宽度 32/64。
• Scalar 单元：控制流与标量计算，负责分支与同步。

2. 存储单元（分级缓存，核心优化点）

• GM（全局内存）：片外大容量，带宽高但延迟大。
• L1 Buffer：片上共享缓存，单 AICore 独享，容量 256KB~512KB，用于数据中转。
• L0A/L0B/L0C：Cube 私有缓存，L0A/L0B 存输入矩阵，L0C 存结果，容量小、速度极快。
• UB（统一缓存）：Vector 单元私有，用于向量数据暂存。

3. 控制与流水线

• MTE（内存搬运引擎）：负责 GM→L1、L1→L0 的数据搬移，支持异步流水线。
• 同步机制：SetFlag/WaitFlag 指令协调 Cube/Vector/MTE，掩盖数据搬运延迟。

二、CATLASS 五层抽象架构（硬件直接映射）

CATLASS 将 AICore 硬件抽象为Device→Kernel→Block→Tile→Basic五层，每层职责单一、接口标准化，实现 “白盒化组装”。

1. Device 层（Host 侧）：封装算子入口，负责内存分配、参数下发、Kernel 启动，屏蔽多卡 / 多核差异。
2. Kernel 层（全局调度）：运行于 AICore，将全局任务切分为多 Block，实现多核负载均衡。
3. Block 层（单 AICore 核心）：单核算力调度，编排 L1→L0 数据流，自动实现双缓冲（Ping-Pong）流水线。
4. Tile 层（Cube 粒度）：定义 Cube 计算分片（如 128×64×64），拆分数据搬入 / 计算 / 搬出步骤。
5. Basic 层（指令级）：对接 AscendC 原生指令（MMAD、MTE），执行原子计算与同步。

三、核心优势

• 硬件感知优化：模板参数直接映射 L0/L1 缓存大小、Cube 分片，最大化缓存利用率。
• 流水线自动化：自动插入双缓冲与同步指令，掩盖数据搬运延迟，提升计算效率。
• 模板元编程：编译期展开循环、特化硬件参数，无运行时开销，性能接近手写汇编。
• 分层解耦：算法逻辑与硬件优化分离，开发者只需组合模板组件，无需从零写指令。

四、代码实践：矩阵乘算子开发

1. 环境与头文件

#include "catlass/catlass.hpp"
#include "catlass/gemm/block/block_mmad.hpp"
using namespace Catlass;

2. 定义硬件与 Tiling 参数（适配 AICore 缓存）

// 1. 硬件架构标签（AtlasA2对应910B）
using ArchTag = Arch::AtlasA2;

// 2. 数据类型（FP16矩阵乘）
using ElementA = half;
using ElementB = half;
using ElementC = float;

// 3. Tiling策略（适配L1/L0缓存）
using L1TileShape = GemmShape<128, 256, 256>;  // L1分片
using L0TileShape = GemmShape<128, 64, 64>;    // Cube分片

// 4. 流水线策略（开启双缓冲，掩盖搬移延迟）
using DispatchPolicy = Gemm::MmadAtlasA2Pingpong<true>;

3. 组装 Block 与 Kernel（核心逻辑）

// 1. 定义BlockMmad（单AICore矩阵乘逻辑）
using BlockMmad = Gemm::Block::BlockMmad<
    ArchTag, ElementA, ElementB, ElementC,
    L1TileShape, L0TileShape, DispatchPolicy>;

// 2. 定义Epilogue（后处理，如偏置加法）
using Epilogue = Gemm::Block::BlockEpilogueDefault<ElementC>;

// 3. 组装Kernel（映射到AICore执行）
using GemmKernel = Gemm::Kernel::BasicMatmul<BlockMmad, Epilogue>;

4. Device 层入口（Host 调用接口）

// 算子参数结构体
struct MatmulArgs {
    GemmCoord problem_shape;  // 矩阵维度
    void* a_ptr; void* b_ptr; void* c_ptr;
};

// Device层封装
class MatmulOp {
public:
    using DeviceGemm = Gemm::Device::DeviceGemm<GemmKernel>;
    DeviceGemm gemm;

    // 执行算子
    void Run(const MatmulArgs& args) {
        GemmKernel::Arguments kernel_args{
            args.problem_shape, args.a_ptr, args.b_ptr, args.c_ptr
        };
        gemm.Launch(kernel_args);  // 启动Kernel到AICore
    }
};

五、全文总结

CATLASS 算子开发的核心是深度抽象 AICore 硬件架构，通过五级分层模型将复杂的硬件细节封装为可复用的模板组件，让开发者以 “搭积木” 的方式构建高性能矩阵乘算子。AICore 的分级缓存（GM/L1/L0）、Cube 计算单元与异步流水线是性能优化的关键，CATLASS 通过模板参数直接映射硬件资源，自动实现双缓冲流水线与指令同步，在编译期完成循环展开与硬件特化，兼顾开发效率与极致性能。

相比传统手写 Ascend C 算子，CATLASS 无需开发者手动管理缓存搬移与指令同步，大幅降低开发门槛；同时，模板元编程无运行时开销，性能接近手写汇编，广泛应用于大模型矩阵乘、卷积、全连接等核心算子开发。掌握 AICore 抽象硬件架构与 CATLASS 分层设计，是昇腾平台高性能算子开发的核心能力，可显著提升算子开发效率与性能，助力 AI 模型在昇腾 NPU 上的高效部署。