一、算子概述

Addcdiv是昇腾CANN架构下的元素级组合数学算子，集成除法、标量乘法、张量加法三类基础运算，一站式完成张量复合计算，是深度学习训练、参数更新、特征变换场景中的核心基础算子。算子核心逻辑为逐元素完成“两张量相除、乘系数、加偏置张量”的复合运算，有效减少多算子串联带来的内存读写开销与调度耗时，提升模型整体计算效率。

算子标准数学计算公式如下：

$y[i]=input\_data[i]+value\times \frac{x1[i]}{x2[i]}$

其中，$input\_data$为待累加偏置张量，$x1、x2$为参与除法运算的输入张量，$value$为缩放系数（支持标量/张量形态），$y$为最终输出张量。该算子由个人开发者贡献，于2025年12月31日完成新增适配，完善了昇腾CANN数学算子生态。

二、产品支持与核心规格

1. 硬件产品适配

当前Addcdiv算子仅适配Atlas A2训练系列产品，暂不兼容其他昇腾硬件产品形态，产品详细规格可参考官方昇腾产品形态说明文档。

2. 输入输出规格

算子仅支持浮点型数据运算，适配深度学习主流浮点精度，统一支持ND多维张量格式，满足各类模型多维特征计算需求，具体规格如下：

参数名	输入/输出	参数描述	数据类型	数据格式
input_data	输入	待累加的偏置输入张量	float32、float16、bfloat16	ND
x1	输入	除法运算被除数张量	float32、float16、bfloat16	ND
x2	输入	除法运算除数张量	float32、float16、bfloat16	ND
value	输入	运算缩放系数，支持标量/张量形态	float32、float16、bfloat16	-
y	输出	复合运算结果输出张量	float32、float16、bfloat16	ND

3. 核心约束限制

• 数据类型约束：所有输入、输出参数仅支持float32、float16、bfloat16三类浮点类型，不支持整型、布尔型等其他数据类型；

• 数据格式约束：仅支持ND多维张量格式，输入输出张量维度需匹配，保证逐元素运算合法性；

• 运算逻辑约束：严格遵循逐元素复合运算规则，张量输入需保证形状一致，避免维度不匹配报错。

4. 调用方式

算子支持标准aclnn接口调用，提供完整测试样例test\_aclnn\_addcdiv\.cpp，开发者可通过工程编译脚本build\.sh完成编译验证，快速适配模型开发与推理场景。

三、底层核心实现架构

Addcdiv算子基于Ascend C架构开发，采用双模板类适配+自适应切分+差异化精度处理的设计方案，分别适配value标量输入、value张量输入两种场景，同时针对bfloat16精度特性做专项优化，兼顾代码复用性、运算精度与硬件执行效率。整体执行流程遵循标准算子范式：初始化（Init）→ 数据拷贝（CopyIn）→ 核心计算（Compute）→ 结果写回（CopyOut）→ 流程调度（Process）。

1. 核心类设计

算子定义两大核心模板类，全覆盖业务输入场景：

• KernelAddcdiv：适配value为标量的常规场景，复用全局标量参数，减少重复数据拷贝开销；

• KernelAddcdivTensor：适配value为张量的场景，逐元素读取张量系数，支持动态缩放运算。

两类模板均基于数据类型模板TYPE\_X实现，编译期确定运算类型，规避运行时分支判断开销，适配float32、float16、bfloat16三类精度。同时全局固定双缓冲模式（BUFFER_NUM=2），通过流水线并行隐藏数据读写延迟。

2. 差异化精度计算逻辑

针对不同浮点类型的精度特性，算子设计两套运算路径，解决bfloat16精度位数不足、直接运算误差大的问题：

• float32 / float16 路径：直接调用AscendC原生运算原语，依次执行Div除法、Muls/Mul标量乘法、Add张量加法，无需类型转换，运算高效、无额外精度损耗；

• bfloat16 专属路径：采用FP32中转精度优化策略，通过临时UB缓冲区完成类型转换：
  bf16输入转FP32（CAST_NONE无精度截断）→ 执行全套复合运算 → FP32结果转回bf16（CAST_RINT就近取整），有效规避bf16低位精度丢失问题，保障运算准确性。

3. 自适应Tiling切分策略

算子配套独立Tiling实现，基于硬件UB大小、AI Core数量、输入数据特性自适应切分，实现多核负载均衡与UB资源最优利用，核心策略如下：

• 双场景Tiling Key区分：通过value输入形态区分Key，value为标量设置TilingKey=0，value为张量设置TilingKey=1，适配不同计算分支；

• 32字节对齐优化：所有输入数据强制32B对齐，满足昇腾硬件内存访问最优规则，提升数据读写带宽；

• 大小核负载均衡：自动划分大核、小核处理粒度，尾部数据单独计算尾块长度，避免多核算力闲置；针对不同精度差异化分配UB缓冲区资源，bf16场景适配更多缓冲空间；

• 自适应核数调整：小张量数据自动降级单核计算，大数据量最大化调用多核并行，无冗余计算开销。

4. 完整执行流程

1. 初始化Init：获取当前核索引，区分大小核处理数据量、分块次数、尾块数据长度，初始化全局内存GM与本地UB队列、临时精度转换缓冲区，完成硬件资源绑定；

2. 数据拷贝CopyIn：批量将GM中的多组输入张量拷贝至UB本地队列，双缓冲交替复用，实现数据预加载；

3. 核心计算Compute：根据数据类型、value形态匹配对应计算分支，完成除法、缩放、累加复合运算，精准控制精度转换模式；

4. 结果写回CopyOut：将UB中计算完成的结果张量拷贝回GM，释放本地缓冲区资源；

5. 流程调度Process：循环执行分块计算，单独处理尾块余量，保证全量数据无遗漏运算。

四、核心优化亮点

1. 复合算子融合优化

将Div、Mul、Add三类独立算子的运算逻辑融合为单算子一站式计算，规避多算子串联带来的多次内存读写、算子调度开销，大幅降低小粒度运算的延迟，提升模型推理、训练的吞吐性能。

2. 精度分层适配优化

针对bfloat16低精度浮点类型设计专属FP32中转路径，通过标准化的类型转换模式平衡运算精度与性能，既兼容主流浮点精度，又解决了低精度类型直接运算的数值误差问题，适配大模型低精度训练场景。

3. 精细化内存与并行优化

基于双缓冲流水线机制，实现数据拷贝与计算流程并行执行；通过自适应Tiling策略动态匹配硬件资源，大小核差异化负载分配、32B内存对齐，最大化提升UB利用率与多核并行效率，无闲置算力、无内存浪费。

4. 场景全覆盖适配

同时兼容value标量与张量两种输入形态，覆盖深度学习参数更新、特征缩放、残差连接等各类业务场景，算子通用性极强。

五、典型应用场景

1. 模型参数更新

在各类优化器（SGD、Adam等）中，用于梯度缩放、参数修正计算，通过“梯度除法、系数缩放、参数累加”的复合运算，一站式完成模型参数迭代更新，简化计算图结构。

2. 深度学习特征变换

应用于卷积、Transformer模型的特征归一化、残差校正场景，对多维特征张量进行逐元素缩放与偏置修正，优化特征分布，提升模型收敛效果。

3. 科学计算与数值仿真

用于批量数值复合运算，替代多算子嵌套计算，简化代码逻辑的同时，依托昇腾硬件并行能力提升大批量张量计算效率。

六、开发部署注意事项

• 硬件适配：该算子支持Atlas A2训练系列产品，部署前需确认硬件型号匹配，避免适配异常；

• 数据合规：严格使用float32、float16、bfloat16浮点类型输入，禁止传入整型、布尔型数据，否则会出现运算报错；

• 维度匹配：输入张量input_data、x1、x2需保持维度形状一致，ND格式维度无上限约束，但需满足逐元素运算匹配规则；

• 精度选择：高精度计算场景优先使用float32，大模型轻量化训练场景可使用bfloat16，依托中转路径保障精度可控；

• 除数合法性：业务场景需规避x2输入为0的情况，防止出现除零运算异常。

七、总结

Addcdiv作为昇腾CANN生态中轻量化、高性能的复合数学算子，创新性地融合三类基础运算，通过双场景模板适配、分层精度优化、自适应多核切分、流水线并行四大核心优化，在保证运算精度的同时，大幅降低了多算子串联的性能开销。算子精准适配Atlas A2训练硬件，全面覆盖主流浮点精度与多维张量场景，可广泛应用于模型训练、参数优化、特征变换等核心业务，进一步完善了昇腾平台基础数学算子的生态能力，为AI模型高效部署提供坚实的底层算力支撑。