10 分钟玩转昇腾 CANN 自定义算子：Abs 算子基于 Notebook 调试全流程

wei_shuo

15705人浏览 · 2026-04-18 12:06:27

wei_shuo · 2026-04-18 12:06:27 发布

10 分钟玩转昇腾 CANN 自定义算子：Abs 算子基于 Notebook 调试全流程

前言

昇腾 CANN 作为面向昇腾 NPU 的异构计算架构，是 AI 模型高效落地的核心支撑，而算子作为连接上层模型与底层硬件的关键，直接决定了 AI 任务的执行效率与适配能力。尽管官方算子库已覆盖多数通用场景，但在自研模型架构、行业专属业务、极致性能优化及高精度部署等场景中，自定义算子仍是突破瓶颈的核心手段。本文基于 GitCode Notebook NPU 环境，从基础概念解析、环境搭建、实战开发到功能验证与性能优化，系统拆解 CANN 自定义算子的全流程实践，助力开发者快速掌握从算子设计到落地部署的完整技能，充分释放昇腾硬件的专属算力。

前情提要：1 分钟弄懂算子开发

什么是算子？

昇腾 CANN 框架里，算子就是给 AI 准备的专用计算工具：比如要算两个数字相加，就用加法算子；要处理图片特征比如识别猫和狗，就用卷积算子。不用管底层怎么运作，只需要明确指令，告诉 AI 用什么工具处理哪类数据，比如用识别工具解析图片、用计算工具运算数字，就能自动高效完成任务，就像拿削皮刀削苹果，不用自己磨刀片、琢磨削皮的步骤逻辑，省心又省力。

算子用在哪？为什么离不开它？

算子是昇腾 CANN 框架的核心，贯穿模型训练推理全流程，封装矩阵乘、卷积等基础计算逻辑，是连接上层 AI 模型与底层昇腾硬件的关键；之所以离不开，是因为它能将复杂计算拆解为硬件可执行指令，通过 CANN 自动并行、精度适配等优化释放算力，没有算子则 AI 模型无法在昇腾落地：就像 Java 电商项目中封装满减、折扣逻辑的核心方法，是上层订单结算业务高效稳定运行的基础，缺了这些方法，复杂结算逻辑便无法落地。

官方算子已够用，为何还要自定义？

在这里插入图片描述

官方算子是通用基础工具，但实际场景中常需要自定义：比如自研模型有特殊逻辑，通用算子里找不到匹配的；行业专属业务有独特计算规则，通用算子拼不出适配方案；想让自家硬件和数据发挥最大性能，通用款不如定制款高效。

CANN Toolkit 是什么？能做什么？

CANN Toolkit 是基于昇腾异构计算架构的开发者工具包，连接 AI 模型与算力的桥梁以及工具箱，把底层算力调度、指令优化等能力封装到位，不用懂架构也能上手

CANN Toolkit 工具链实用又好用：写代码有 API 模板，编译靠 build.sh 一键搞定，调试能查日志排错，优化能自动提效，验证支持双模式测试和单元校验，适配 GitCode Notebook 环境，新手也能快速完成算子开发部署。

GitCode Notebook 环境准备

GitCode启动NoteBook资源

在这里插入图片描述

计算类型：NPU
CANN是昇腾 NPU设计的异构计算架构，因此必须选择NPU作为计算类型才能利用昇腾专用算力执行 AI 算子
NPU 硬件配置：NPU basic · 1 * 910B NPU · 32vCPU · 64GB
容器镜像：ubuntu22.04-py3.11-cann8.2.rc1-sglang-main-notebook

手把手教学：搭建 CANN 自定义算子开发环境

ops-math 源码仓库：GitCode CANN/ops-math 仓库获取项目项目地址

在这里插入图片描述

社区版 CANN Toolkit：GitCode CANN/ops-math 仓库提供下载方式可以自行查看

在这里插入图片描述

克隆源码仓库与初始环境验证操作指南

CANN/ops-math 仓库克隆

git clone https://gitcode.com/cann/ops-math.git

在这里插入图片描述

系统依赖安装与权限受限场景下的替代方案详解

配置基础依赖、NPU驱动和固件安装

python >= 3.7.0
gcc >= 7.3.0
cmake >= 3.16.0
pigz >= 2.4 （可选，提升打包速度）
dos2unix
gawk
googletest （UT 单元测试依赖）

一键安装脚本：

bash install_deps.sh

GitCode NoteBook没有Root权限可能出现有些命令无法安装的问题，可以换一种安装方式，比如用 wget 方式安装 gawk

wget https://ftp.gnu.org/gnu/gawk/gawk-5.2.2.tar.gz

在这里插入图片描述

若 wget 提示不存在，尝试用 curl

curl -O https://ftp.gnu.org/gnu/gawk/gawk-5.2.2.tar.gz

tar -zxvf gawk-5.2.2.tar.gz  # 解压
cd gawk-5.2.2                # 进入源码目录

配置安装路径无需 root

# 配置安装到 ~/usr 目录（用户可读写的路径）
./configure --prefix=$HOME/usr

若提示 no acceptable C compiler found in $PATH，说明缺少 gcc，可尝试用环境自带的 cc 替代

./configure --prefix=$HOME/usr CC=cc

编译并安装

make  # 编译（耗时约1-2分钟，耐心等待）
make install  # 安装到 ~/usr 目录

添加环境变量

# 临时生效（当前终端会话可用）
export PATH=$HOME/usr/bin:$PATH

# 验证安装成功
gawk --version  # 应输出 gawk 5.2.2 版本信息

在这里插入图片描述

CANN Toolkit 与 Legacy 运行时安装配置说明

根据硬件架构（如 x86_64 / aarch64）下载对应版本

chmod +x Ascend-cann-toolkit_${cann_version}_linux-${arch}.run
./Ascend-cann-toolkit_${cann_version}_linux-${arch}.run --full --force --install-path=/usr/local/Ascend

安装运行态依赖（昇腾部署 CANN Legacy 算子环境：通过 chmod +x 为带硬件、版本、架构占位符的安装文件添加可执行权限，再执行该文件，以全量模式将算子环境安装到 /usr/local/Ascend 路径）

chmod +x cann-${soc_name}-ops-legacy_${cann_version}_linux-${arch}.run
./cann-${soc_name}-ops-legacy_${cann_version}_linux-${arch}.run --full --install-path=/usr/local/Ascend

两个包必须安装在同一路径下，保证算子编译与调用一致

环境变量加载机制与路径验证全流程讲解

加载环境变量

source /usr/local/Ascend/set_env.sh

通过以下命令验证是否配置成功

echo $ASCEND_HOME_PATH

在这里插入图片描述

CANN 环境可用性验证：ACL 初始化测试与常见问题排查

通过 acl.init () 初始化 CANN 环境，保障底层驱动与运行时就绪；调用 acl.rt.get_device_count () 确认 NPU 硬件可访问性，再以 acl.rt.set_device () 绑定 NPU 设备完成上下文关联；使用后通过 acl.rt.reset_device () 释放设备资源，最终以 acl.finalize () 销毁 CANN 环境，全程校验返回码，构成昇腾 NPU 从初始化到资源释放的标准化核心流程，体现 CANN 架构的资源管理逻辑

import acl

# 1. 初始化CANN环境
ret = acl.init()
if ret != 0:
print("CANN初始化失败，错误码：", ret)
else:
print("CANN初始化成功")

# 2. 查看可用NPU设备数量
device_count = acl.rt.get_device_count()
print(f"可用NPU设备数量：{device_count}")  # 应输出1（对应你的910B）

# 3. 绑定NPU设备
device_id = 0
ret = acl.rt.set_device(device_id)
if ret == 0:
print(f"成功绑定NPU设备 {device_id}")

# 4. 释放资源
acl.rt.reset_device(device_id)
print("设备资源已释放")
else:
print(f"绑定设备失败，错误码：{ret}")

# 5. 销毁CANN环境
acl.finalize()
print("CANN环境销毁成功")

在这里插入图片描述

自定义算子实战：Abs 算子开发流程解析

获取 ops-math 源码与依赖安装

git clone https://gitcode.com/cann/ops-math.git

进入目标目录并安装依赖

cd ops-math
pip3 install -r requirements.txt

在这里插入图片描述

安装CANN toolkit包

在这里插入图片描述

本地下载完成之后上传到 NoteBook

在这里插入图片描述

赋予执行权限

chmod +x Ascend-cann-toolkit_8.3.RC1_linux-aarch64.run

执行安装

# 适配toolkit组件的官方命令示例
./Ascend-cann-toolkit_${cann_version}_linux-${arch}.run --full --install-path=${install_path}

# 代入你的参数后（即你执行的命令）
./Ascend-cann-toolkit_8.5.0.alpha001_linux-aarch64.run --full --install-path=/home/service/Ascend

soc_name：表示NPU型号名称，即 soc_version 删除 ascend 后剩余的内容
install_path：表示指定安装路径，需要与toolkit包安装在相同路径，默认安装在/usr/local/Ascend目录

在这里插入图片描述

此处可能比较慢，可以实时查看日志来检查是否在安装

# 实时跟踪安装日志，查看是否有新内容输出
tail -f /home/service/var/log/ascend_seclog/ascend_toolkit_install.log

在这里插入图片描述

配置环境变量

echo "source /home/service/Ascend/ascend-toolkit/latest/set_env.sh" >> ~/.bashrc
source ~/.bashrc

在这里插入图片描述

仅针对 Abs 算子进行独立编译测试：

bash build.sh --pkg --soc=ascend910b --ops=abs

在这里插入图片描述

ops-math 的 abs 算子已经 100% 编译成功，生成的 .run 包位于 build_out/ 目录下

部署与安装自定义算子运行包

自定义算子包安装路径

./cann-ops-math-${vendor_name}_linux-${arch}.run

Eager 模式调用：快速验证算子性能

执行示例命令（bash build.sh --run_example abs eager 核心是指定以 Eager 模式运行 Abs 算子示例，脚本自动解析参数、编译执行算子，同步完成 Abs 算子功能与 Eager 模式运行效果的快速验证）

bash build.sh --run_example abs eager

在这里插入图片描述

说明算子计算正确，且经过 aclnn 直接调用后，执行延迟比原始算子降低约 12.4%。

原始算子调用方式：原始算子调用基于 CANN 框架的 ACL/ACLNNG API 实现，需依次完成设备初始化、上下文创建、内存管理等前置操作，按既定流程调用算子接口，过程中需要手动完成数据拷贝、算子参数配置及资源释放，依赖开发者手动把控全流程。

在这里插入图片描述

Graph 模式调用：面向批量计算的优化方案

若在图模式下测试，只需修改执行参数，此模式下 CANN 会自动构建计算图并融合算子，适合大规模批量计算场景

bash build.sh --run_example abs graph

单元测试验证：精度与稳定性检测

验证算子稳定性，执行UT用例依赖googletest单元测试框架

pip3 install -r tests/requirements.txt

在这里插入图片描述

针对 abs 算子执行主机侧侧单元测试 UT 的命令

bash build.sh -u --ophost --ops=abs

在这里插入图片描述

所有测试均通过，这验证了自定义算子在算术精度与计算稳定性方面完全符合预期

Eager 模式 vs Graph 模式：算子调用的两种核心执行范式

Eager 模式调用：Eager 模式即时执行模式，调用算子时不需要提前构建计算图，同步触发计算并返回结果，适配小批量数据测试与单算子快速验证场景，根据上面操作流程可以看出进入 ops-math 目录后，执行 bash build.sh --run_example abs eager 命令即可调用 Abs 算子，能直观查看计算结果验证算子正确性，还能实测算子性能，最终经 aclnn 直接调用后，Abs 算子执行延迟较原始算子降低约 12.4%，高效完成算子功能与基础性能的快速校验，适配自定义算子开发初期验证需求

Graph 模式调用：Graph 模式是 CANN 框架面向高性能计算的优化执行方案，核心是先构建算子调用的完整计算图，再通过算子融合、内存优化、并行调度等全维度优化后统一执行，适配高吞吐、批量处理场景；在 ops-math 项目中，只需将 Eager 模式验证命令调整为bash build.sh --run_example abs graph即可触发 Abs 算子的 Graph 模式调用，该模式虽多了计算图构建的前置步骤，但能显著提升批量数据处理吞吐效率，是自定义算子从功能验证迈向规模化部署的关键模式。