登录社区云，与社区用户共同成长
邀请您加入社区
昇腾NPU运行时（runtime）是连接算子编译与硬件执行的关键中间层，负责内存管理、任务调度和流控制。它通过Context管理设备资源，利用Stream实现并行计算，借助Event进行流间同步，并采用高效的内存分配策略。runtime采用命令队列模式下发任务，支持同步/异步执行，通过多Stream并行提升NPU利用率。开发者可通过内存池复用、多流并行等技术优化性能，并使用msprof工具监控硬件
