一、算子概述

Addcmul是CANN架构下的高性能元素级复合数学算子，集成张量逐元素乘法、标量/张量缩放、张量加法三类基础运算，一站式完成复合数值计算。该算子可替代“Mul+Mul+Add”多算子串联组合，有效减少计算图节点数量、降低内存频繁读写与算子调度开销，大幅提升深度学习训练与推理的执行效率。

算子对标PyTorch原生addcmul接口能力，是模型参数迭代、特征校正、数值优化场景的核心基础算子。其标准数学计算公式如下：

$y[i]=input\_data[i]+value\times x1[i]\times x2[i]$

其中，$input\_data$为待累加偏置张量，$x1、x2$为逐元素相乘的输入张量，$value$为缩放系数（支持标量、张量两种形态），$y$为最终输出张量。该算子由个人开发者贡献，于2025年12月31日完成新增适配，完善了昇腾CANN复合数学算子生态。

二、产品支持与核心规格

1. 硬件产品适配

当前Addcmul算子仅适配Atlas A2训练系列产品，暂不兼容其他NPU硬件产品形态，产品详细规格可参考官方昇腾产品形态说明文档。

2. 输入输出规格

算子兼容整型与主流浮点数据类型，适配深度学习训练、科学计算多场景精度需求，统一支持ND多维张量格式，适配各类模型多维特征计算需求，具体规格如下：

参数名	输入/输出	参数描述	数据类型	数据格式
input_data	输入	待累加的偏置输入张量	float32、float16、int32、bfloat16	ND
x1	输入	参与逐元素相乘的输入张量1	float32、float16、int32、bfloat16	ND
x2	输入	参与逐元素相乘的输入张量2	float32、float16、int32、bfloat16	ND
value	输入	运算缩放系数，支持标量/张量形态	float32、float16、int32、bfloat16	-
y	输出	复合运算结果输出张量	float32、float16、int32、bfloat16	ND

3. 核心约束限制

• 数据类型约束：所有输入、输出参数仅支持float32、float16、int32、bfloat16四类数据类型，不支持其他整型、布尔型等数据类型；

• 数据格式约束：仅支持ND多维张量格式，无固定维度上限，输入张量需满足逐元素运算匹配规则；

• 维度约束：参与运算的input_data、x1、x2张量需元素数量匹配，保证逐元素复合运算合法执行。

4. 调用方式

算子支持标准aclnn接口调用，提供完整测试样例test\_aclnn\_addcmul\.cpp，开发者可通过工程编译脚本build\.sh快速完成编译、功能验证，无缝适配昇腾CANN开发流程。

三、底层核心实现架构

Addcmul算子基于Ascend C编程语言开发，采用双模板类适配、自适应多核切分、分层精度处理、流水线并行的标准化设计方案，全覆盖value标量与张量两种业务场景，同时针对bfloat16低精度特性做专项精度优化，兼顾代码复用性、运算精度与硬件极致性能。整体执行流程遵循昇腾算子标准范式：初始化（Init）→ 数据拷贝（CopyIn）→ 核心计算（Compute）→ 结果写回（CopyOut）→ 流程调度（Process）。

1. 核心类设计

算子定义两套模板类，全覆盖实际业务两种输入场景，编译期确定运算类型，规避运行时分支开销，提升执行效率：

• KernelAddcmul：适配value为标量的常规场景，全局缓存标量系数，无需逐元素读取，减少内存访问开销，适配绝大多数基础训练场景；

• KernelAddcmulTensor：适配value为张量的进阶场景，逐元素读取张量缩放系数，支持动态差异化缩放，适配复杂特征变换、自定义优化器场景。

算子全局固定双缓冲模式（BUFFER_NUM=2），通过流水线并行机制隐藏数据读写延迟，适配大数据量张量计算。

2. 差异化精度计算逻辑

针对不同数据类型的精度特性与硬件原语适配性，算子设计两套差异化运算路径，解决bfloat16精度丢失、数值不稳定问题，同时保障整型、高精度浮点运算效率：

• float32、float16、int32 路径：直接调用AscendC原生运算原语，依次执行张量乘法、缩放乘法、张量加法，无需类型转换，运算链路极简、性能最优，无额外精度损耗；

• bfloat16 专属优化路径：采用FP32中转精度补偿策略，通过临时UB缓冲区完成精度转换：
  bf16输入无损转FP32（CAST_NONE模式）→ 执行全套复合运算 → 高精度结果就近取整转回bf16（CAST_RINT模式），彻底规避bf16低位精度缺失导致的计算误差，保障低精度训练场景的数值稳定性。

3. 自适应Tiling切分策略

算子配套独立高性能Tiling实现，基于硬件UB内存大小、AI Core数量、输入数据维度与精度类型，自适应完成数据切分与资源分配，实现多核负载均衡与硬件资源最优利用，核心策略如下：

• 双场景Tiling Key区分：自动识别value输入形态，标量输入设置TilingKey=0，张量输入设置TilingKey=1，精准匹配不同计算分支的资源分配逻辑；

• 32字节硬件对齐优化：所有输入数据强制32B对齐，契合昇腾AI芯片内存访问最优规则，大幅提升数据读写带宽；

• 差异化UB资源分配：根据数据类型动态分配UB缓冲区数量，非bf16类型分配4组缓冲资源，bf16类型因中转运算适配6组缓冲资源，避免内存溢出、资源不足问题；

• 大小核负载均衡：自动划分大核、小核处理粒度，尾部剩余数据单独计算尾块长度，解决多核算力闲置、负载不均问题；

• 自适应核数降级：小张量数据自动降级单核计算，规避多核调度冗余开销；大数据量最大化调度多核并行，充分释放硬件算力。

4. 完整执行流程

1. 初始化Init：获取当前AI Core索引，区分大小核处理数据量、分块迭代次数、尾块数据长度，初始化全局内存GM、本地UB队列与精度转换临时缓冲区，完成硬件资源绑定与参数预加载；

2. 数据拷贝CopyIn：批量将GM中的多组输入张量预拷贝至UB本地队列，双缓冲交替复用，实现数据预加载，隐藏读写延迟；

3. 核心计算Compute：根据数据类型、value形态自动匹配最优计算分支，精准完成“双张量相乘、系数缩放、偏置累加”全套复合运算，严格控制精度转换模式；

4. 结果写回CopyOut：将UB中计算完成的结果张量批量写回GM，同步释放本地缓冲区资源，避免内存占用冗余；

5. 流程调度Process：循环执行分块批量计算，单独适配尾块余量计算，保障全量数据无遗漏、无重复运算。

四、核心优化亮点

1. 复合算子融合，简化计算图

将Mul、Mul、Add三次独立运算融合为单算子一站式计算，大幅减少计算图节点数量，规避多算子串联带来的多次内存读写、频繁调度开销，显著提升小粒度高频运算的吞吐性能，降低模型推理延迟。

2. 全类型分层适配，精度性能兼顾

同时支持int32整型、float16/float32/bfloat16浮点型多类数据输入，针对bfloat16低精度场景设计专属FP32中转补偿路径，在不损失推理、训练性能的前提下，解决低精度运算数值抖动问题，适配大模型轻量化训练场景。

3. 精细化内存与并行优化

基于双缓冲流水线实现数据读写与计算并行执行，结合32B内存对齐、自适应UB分块、大小核负载均衡策略，最大化提升UB内存利用率与多核并行效率，无闲置算力、无内存资源浪费，适配超大张量批量计算场景。

4. 双模式全覆盖，通用性极强

原生兼容value标量与张量两种输入形态，既满足常规固定系数缩放场景，也支持动态逐元素差异化缩放，覆盖深度学习绝大多数参数更新、特征变换业务场景。

五、总结

Addcmul是昇腾CANN生态中高通用、高性能的复合乘法累加算子，精准对标主流框架原生addcmul能力。算子通过双模板场景适配、分层精度优化、自适应多核切分、流水线并行加速四大核心优化，在兼容多类型、多场景输入的同时，极致释放Atlas A2硬件算力，有效解决传统多算子串联性能损耗、精度不稳定、计算图冗余等问题。该算子广泛适配模型训练、特征优化、科学计算等核心业务，进一步补齐了昇腾CANN基础复合数学算子能力，为AI模型高效训练与部署提供坚实的底层算力支撑。