​作者​:昇腾实战派

​知识地图​:https://blog.csdn.net/Lumos_Lovegood/article/details/161489952

一、背景概述

在深度学习框架中,设备初始化是算子执行前的关键前置步骤。无论是昇腾 NPU 还是业界通用加速设备,在使用前都必须完成运行时环境准备、内存池创建、设备参数配置等一系列初始化操作。本文从开发者视角出发,系统梳理昇腾 NPU 设备初始化的实现机制、对外接口及与业界通用框架的差异场景,帮助开发者理解初始化流程,规避使用中的潜在问题。

二、初始化机制总述

2.1 NPU设备初始化

NPU设备的核心初始化逻辑封装在NpuSysCtrl::Initialize中,该函数负责完成以下工作:

  • ACL运行时初始化(aclinit/aclmdlInitDump)
  • 缓存分配器初始化(NPUCachingAllocator::init)
  • 设备选择与设置(getdevice/set_device)
  • SOC版本相关配置(包括AclrtSetDeviceSatMode、AclSetCompileopt、MakeCompileCacheDirAndSetOption等)
  • 进程级变量init_flag_标记,确保初始化只执行一次

在此基础上,框架提供了多个初始化入口接口,包括C++侧的THNPModule_setDevice_wrap、THNPModule_initExtension,以及对应的Python侧接口set_device、lazy_init。同时,C++侧封装了maybe_initialize_npu工具函数,并会调用Python侧的lazy_init完成初始化。

2.2 通用并行计算框架设备初始化(参考)

业界通用并行计算框架的设备初始化逻辑与NPU类似,通过惰性初始化接口对外提供。主要初始化内容包括:

  • 缓存分配器初始化
  • 设备间(P2P)访问缓存初始化

通过一次性调用机制确保初始化仅执行一次。对外接口设计同样为 C++ 侧扩展初始化接口与 Python 侧 lazy_init,在 set_device 中会触发初始化。本文不作展开,以下重点介绍 NPU 侧的机制。

三、对外接口说明

3.1 用户显式调用接口

用户可直接调用的设备初始化接口主要有两个:

  • set_device:设置当前设备并触发初始化
  • lazy_init:惰性初始化,首次调用时执行初始化逻辑

3.2 隐式初始化场景

除显式调用外,框架在以下数据结构操作中会自动触发隐式初始化:

  • Tensor:创建Tensor时,最终会调用empty相关接口,触发maybe_initialize_npu
  • Storage:创建Storage时,业界通用并行计算框架会自动触发初始化;当前 NPU 侧需显式初始化(建议在程序入口统一调用 lazy_init),避免因隐式初始化缺失导致的异常

四、初始化调用链解析

4.1 NPU初始化调用链

Python侧接口C++侧接口调用逻辑备注
torch.npu.set_device('npu:0')set_deviceNpuSysCtrl::Initialize + set_device每次调用均执行
torch.npu._lazy_init()lazy_init_npu_init(NpuSysCtrl::Initialize + getDefaultNPUGenerator)+ fork拦截全局变量控制,仅执行一次

4.2 与通用并行计算框架的调用链对比

通用并行计算框架的初始化调用链与 NPU 整体设计思路一致:Python 侧的 set_device 与惰性初始化接口最终均汇聚到 C++ 侧完成设备运行时准备、生成器创建与 fork 拦截,并由全局变量控制、仅执行一次。两者的差异主要体现在接口命名与具体初始化内容上,NPU 侧接口与调用链如上表 4.1 所示。

五、场景差异分析

通过对比NPU与业界通用并行计算框架在各类使用场景下的表现,当前主要存在以下差异:

5.1 Storage创建场景

  • 通用并行计算框架:创建 Storage 时会自动触发设备初始化
  • NPU:torch.UntypedStorage(4, device=torch.device('npu:0'))需先完成显式初始化,否则报错

5.2 多进程场景

  • spawn方式:当父进程已完成初始化后,子进程执行算子调用时 NPU 会报错,需要在子进程中重新完成初始化操作
  • fork方式:NPU 与通用并行计算框架在报错拦截机制上存在差异,建议以实际运行环境的验证结果为准

5.3 典型错误示例

以下为NPU在未显式初始化场景下的典型报错:

错误1:Storage创建未初始化

RuntimeError: NPU device is not initialized. Please call torch.npu.set_device() or torch.npu._lazy_init() first.

错误2:spawn子进程算子调用失败

RuntimeError: Cannot re-initialize NPU in forked subprocess. Please use spawn method instead.

错误3:fork子进程初始化冲突

RuntimeError: NPU context has already been initialized in the parent process.

六、使用建议

基于上述差异分析,建议开发者在实际使用中注意以下几点:

  1. 显式初始化:在创建NPU Storage前,先调用torch.npu.set_device()或torch.npu._lazy_init()完成设备初始化
  2. 多进程编程:使用spawn方式创建子进程时,需在子进程中重新执行初始化操作;使用fork方式时,需注意父进程的初始化状态
  3. 统一初始化入口:建议在程序入口处统一调用lazy_init,避免因隐式初始化缺失导致的异常

七、附:测试脚本参考

以下为验证NPU初始化机制的参考脚本:

# 测试脚本1:验证Storage创建
import torch
import torch_npu

# NPU场景
d = torch.UntypedStorage(4, device=torch.device('npu:0'))  # 需先初始化

# CUDA场景
d = torch.UntypedStorage(2, device=torch.device('cuda:0'))  # 自动初始化
# 测试脚本2:验证多进程场景
import multiprocessing
import torch
import torch_npu

def run():
    torch.npu.set_device('npu:0')
    d = torch.UntypedStorage(4, device=torch.device('npu:0'))
    print(d)

if __name__ == '__main__':
    torch.npu._lazy_init()
    ctx = torch.multiprocessing.get_context('spawn')
    p = ctx.Process(target=run)
    p.start()
    p.join()

通过以上分析可以看出,昇腾 NPU 与业界通用并行计算框架在设备初始化机制上整体设计思路一致,但在 Storage 隐式初始化和多进程场景处理上存在差异。理解这些差异有助于开发者编写更健壮的跨平台代码。

Logo

作为“人工智能6S店”的官方数字引擎,为AI开发者与企业提供一个覆盖软硬件全栈、一站式门户。

更多推荐