基于 Triton-Ascend 的 MSELoss 算子设计

在深度学习模型训练中，均方误差损失（MSELoss，又称 L2 Loss）是回归任务中最常用的损失函数之一。随着模型规模的不断扩大，对算子的计算效率和精度要求也越来越高。Triton 作为一种高效的 GPU 编程语言，能够帮助开发者编写高性能的自定义算子。本文基于 Triton-Ascend 框架，设计并实现了一个支持多种归约模式、具备动态优化策略的 MSELoss 算子，旨在解决现有实现中精度不

昇腾与英伟达硬件架构对比

上图展示有点问题，实际一个Node的Level1里是一个交换芯片的7个虚拟平面，不是7个交换芯片。UB交换芯片Level1使用量0.392*2/2*8*2=6.272 Tb/s, Level2 交换芯片使用量0.056/2*8*48=10.752Tb/s，芯片性能对标博通TH3.B300出1.8TB双向带宽，Nvswitch单芯片容量28.8Tb，整机57.6Tb（性能对标博通TH5)，交换芯片容

CANN 开发者 Meetup · 杭州模型专场｜线下技术沙龙正式开启报名！