登录社区云,与社区用户共同成长
邀请您加入社区
要理解ascend-boost-comm,先要理解"M×N算子复用"这个概念。
承上:接收GE编译好的执行计划,理解算子的内存需求和调度依赖。启下:调度NPU硬件执行,管理存储层次,保证算子高效落地。FlashAttention在ops-transformer里只是"菜谱"——定义了分块策略、在线softmax、融合kernel。runtime分配L1 Buffer,让tile能留在片上不回HBMruntime调度多流,让不同head的attention并行执行runtime