昇腾 NPU 设备初始化机制解析与使用建议
作者:昇腾实战派
知识地图:https://blog.csdn.net/Lumos_Lovegood/article/details/161489952
一、背景概述
在深度学习框架中,设备初始化是算子执行前的关键前置步骤。无论是昇腾 NPU 还是业界通用加速设备,在使用前都必须完成运行时环境准备、内存池创建、设备参数配置等一系列初始化操作。本文从开发者视角出发,系统梳理昇腾 NPU 设备初始化的实现机制、对外接口及与业界通用框架的差异场景,帮助开发者理解初始化流程,规避使用中的潜在问题。
二、初始化机制总述
2.1 NPU设备初始化
NPU设备的核心初始化逻辑封装在NpuSysCtrl::Initialize中,该函数负责完成以下工作:
- ACL运行时初始化(
aclinit/aclmdlInitDump) - 缓存分配器初始化(
NPUCachingAllocator::init) - 设备选择与设置(
getdevice/set_device) - SOC版本相关配置(包括
AclrtSetDeviceSatMode、AclSetCompileopt、MakeCompileCacheDirAndSetOption等) - 进程级变量
init_flag_标记,确保初始化只执行一次
在此基础上,框架提供了多个初始化入口接口,包括C++侧的THNPModule_setDevice_wrap、THNPModule_initExtension,以及对应的Python侧接口set_device、lazy_init。同时,C++侧封装了maybe_initialize_npu工具函数,并会调用Python侧的lazy_init完成初始化。
2.2 通用并行计算框架设备初始化(参考)
业界通用并行计算框架的设备初始化逻辑与NPU类似,通过惰性初始化接口对外提供。主要初始化内容包括:
- 缓存分配器初始化
- 设备间(P2P)访问缓存初始化
通过一次性调用机制确保初始化仅执行一次。对外接口设计同样为 C++ 侧扩展初始化接口与 Python 侧 lazy_init,在 set_device 中会触发初始化。本文不作展开,以下重点介绍 NPU 侧的机制。
三、对外接口说明
3.1 用户显式调用接口
用户可直接调用的设备初始化接口主要有两个:
- set_device:设置当前设备并触发初始化
- lazy_init:惰性初始化,首次调用时执行初始化逻辑
3.2 隐式初始化场景
除显式调用外,框架在以下数据结构操作中会自动触发隐式初始化:
- Tensor:创建Tensor时,最终会调用
empty相关接口,触发maybe_initialize_npu - Storage:创建Storage时,业界通用并行计算框架会自动触发初始化;当前 NPU 侧需显式初始化(建议在程序入口统一调用
lazy_init),避免因隐式初始化缺失导致的异常
四、初始化调用链解析
4.1 NPU初始化调用链
| Python侧接口 | C++侧接口 | 调用逻辑 | 备注 |
|---|---|---|---|
torch.npu.set_device('npu:0') | set_device | NpuSysCtrl::Initialize + set_device | 每次调用均执行 |
torch.npu._lazy_init() | lazy_init | _npu_init(NpuSysCtrl::Initialize + getDefaultNPUGenerator)+ fork拦截 | 全局变量控制,仅执行一次 |
4.2 与通用并行计算框架的调用链对比
通用并行计算框架的初始化调用链与 NPU 整体设计思路一致:Python 侧的 set_device 与惰性初始化接口最终均汇聚到 C++ 侧完成设备运行时准备、生成器创建与 fork 拦截,并由全局变量控制、仅执行一次。两者的差异主要体现在接口命名与具体初始化内容上,NPU 侧接口与调用链如上表 4.1 所示。
五、场景差异分析
通过对比NPU与业界通用并行计算框架在各类使用场景下的表现,当前主要存在以下差异:
5.1 Storage创建场景
- 通用并行计算框架:创建 Storage 时会自动触发设备初始化
- NPU:
torch.UntypedStorage(4, device=torch.device('npu:0'))需先完成显式初始化,否则报错
5.2 多进程场景
- spawn方式:当父进程已完成初始化后,子进程执行算子调用时 NPU 会报错,需要在子进程中重新完成初始化操作
- fork方式:NPU 与通用并行计算框架在报错拦截机制上存在差异,建议以实际运行环境的验证结果为准
5.3 典型错误示例
以下为NPU在未显式初始化场景下的典型报错:
错误1:Storage创建未初始化
RuntimeError: NPU device is not initialized. Please call torch.npu.set_device() or torch.npu._lazy_init() first.
错误2:spawn子进程算子调用失败
RuntimeError: Cannot re-initialize NPU in forked subprocess. Please use spawn method instead.
错误3:fork子进程初始化冲突
RuntimeError: NPU context has already been initialized in the parent process.
六、使用建议
基于上述差异分析,建议开发者在实际使用中注意以下几点:
- 显式初始化:在创建NPU Storage前,先调用
torch.npu.set_device()或torch.npu._lazy_init()完成设备初始化 - 多进程编程:使用spawn方式创建子进程时,需在子进程中重新执行初始化操作;使用fork方式时,需注意父进程的初始化状态
- 统一初始化入口:建议在程序入口处统一调用
lazy_init,避免因隐式初始化缺失导致的异常
七、附:测试脚本参考
以下为验证NPU初始化机制的参考脚本:
# 测试脚本1:验证Storage创建
import torch
import torch_npu
# NPU场景
d = torch.UntypedStorage(4, device=torch.device('npu:0')) # 需先初始化
# CUDA场景
d = torch.UntypedStorage(2, device=torch.device('cuda:0')) # 自动初始化
# 测试脚本2:验证多进程场景
import multiprocessing
import torch
import torch_npu
def run():
torch.npu.set_device('npu:0')
d = torch.UntypedStorage(4, device=torch.device('npu:0'))
print(d)
if __name__ == '__main__':
torch.npu._lazy_init()
ctx = torch.multiprocessing.get_context('spawn')
p = ctx.Process(target=run)
p.start()
p.join()
通过以上分析可以看出,昇腾 NPU 与业界通用并行计算框架在设备初始化机制上整体设计思路一致,但在 Storage 隐式初始化和多进程场景处理上存在差异。理解这些差异有助于开发者编写更健壮的跨平台代码。
更多推荐

所有评论(0)