华为昇腾的PTO（Pipeline Tensor Operations）指令集通过其异构流水线、内存层次优化和软硬件协同设计，为优化亚二次注意力（SSA）架构中的不规则Gather（聚集）操作提供了系统性的解决方案。这些优化旨在解决Gather操作的核心瓶颈：高延迟、低带宽利用率以及由不规则访问引发的缓存抖动。

一、SSA中不规则Gather操作的核心挑战

在SSA（如Mamba、SubQ）模型中，Gather操作并非简单的批量数据读取，而是高度动态、数据依赖且不规则的：

1. 动态索引：需要根据每个查询（Query）实时计算出的路由结果（如Top-K的Token ID），从庞大的键值（Key/Value）缓存或状态矩阵中聚集对应的数据块。
2. 不规则访问模式：索引是稀疏且不连续的，导致内存访问无法合并，严重浪费DRAM带宽，并破坏缓存局部性。
3. 计算-访存耦合：Gather操作紧邻核心的稀疏矩阵运算，其延迟直接拖累整体计算流水线。

二、华为昇腾PTO指令集的针对性优化方法

PTO指令集通过以下机制，系统性地缓解上述挑战：

1. 异构流水线执行：计算流与访存流解耦与重叠

PTO的核心思想是双流/流水线执行，将计算任务划分为计算流（AICore执行）和访存/通信流（AIV或其他单元执行）。这一架构可直接应用于优化Gather操作：

• 操作解耦：将路由决策（索引生成） 和基于索引的数据Gather分别映射到不同的硬件流水线上。例如，一个流水线持续执行相似度计算和Top-K选择，生成下一批Gather所需的索引；另一个流水线则并行地执行当前批次的Gather操作，从内存中预取数据。
• 流水线重叠：通过PTO的TWAIT（Tensor Wait） 和计数器同步机制，可以实现精细的流水线同步。计算流在发出Gather请求后无需空等，可继续执行其他不依赖数据的计算（如上一批数据的处理），而访存流独立地完成数据搬运。这隐藏了Gather操作的长延迟。

// 概念性伪代码，展示PTO双流思想如何优化SSA中的Gather-Compute序列
// 流A（计算流）: 负责路由计算和发起Gather
// 流B（访存流）: 负责执行Gather和准备数据

// 流A: 步骤1 - 计算当前查询的路由索引
Indices idx = compute_route(current_query);
// 流A: 步骤2 - 异步发起Gather操作（非阻塞），将任务提交给流B
pto_gather_async(buffer_a, source_data, idx);
// 流A: 步骤3 - 无需等待，立即处理上一轮已Gather好的数据（buffer_b）
sparse_compute(previous_data_in_buffer_b);

// 流B: 与流A并行执行 - 执行实际的Gather内存操作
// (硬件自动执行，将source_data中idx指定的数据聚集到buffer_a)

// 流A: 步骤4 - 通过TWAIT指令等待buffer_a的Gather完成
pto_twait(buffer_a_sync_counter);
// 流A: 步骤5 - 交换buffer角色，继续下一轮迭代
swap(buffer_a, buffer_b);

2. 内存层次优化：L1/L0双缓冲与Block Swizzle

不规则Gather对缓存极不友好。PTO设计中的内存优化技术可显著提升数据局部性：

• L1/L0 双缓冲（Double Buffering） ：PTO在执行流水线操作时，利用片上高速缓存（L1）和寄存器堆（L0）设置双缓冲区。对于Gather操作：
  • 当一组数据正在L0缓冲区中被计算单元消费时，下一组Gather的数据可以并行地被预取到L1缓冲区中。
  • 这种预取（Prefetching）机制对于不规则访问至关重要。编译器或程序员可以根据路由算法预测下一批可能访问的索引范围，提前发起Gather到L1缓冲区，从而将不可预测的DRAM访问延迟转化为可控的片上数据移动。
• Block Swizzle访存优化 ：这是一种数据布局重排技术。虽然Gather的索引是不规则的，但如果SSA模型的数据（如Key/Value状态）能按照某种有利于局部访问的模式（例如，基于哈希分桶）进行物理存储，则可以减少DRAM页的切换次数。PTO的软硬件协同允许在数据加载过程中或数据驻留片上时，进行动态的数据重排（Swizzle），使得后续一系列Gather操作尽可能命中同一个DRAM行（Row Buffer），提高有效带宽。

3. 增强的向量访存指令与缓存控制

为直接支持不规则Gather，昇腾的指令集需要提供比传统load更强大的向量化访存指令：

• 高效向量Gather指令：类似于vgatherdps（向量聚集指令），但针对AI负载进行优化。指令应能接受一个向量寄存器存放的多个索引，并一次性从内存的非连续地址聚集数据到目标向量寄存器。关键在于降低该指令的执行延迟和提高吞吐量。
• 缓存控制提示：指令可以携带缓存级别提示（如“缓存在L1”、“流式加载，无需缓存”）。对于SSA中一次性使用后可能长时间不再访问的Gather数据，采用“流式”或“非时间性”加载可以避免污染缓存，为更重要的重复使用数据留出空间。

三、优化效果与软硬件协同

通过上述方法，华为昇腾PTO指令集对SSA中不规则Gather的优化体现在：

1. 延迟隐藏：通过计算与访存流水线重叠，将Gather的延迟从关键路径中移除，提升整体硬件利用率。
2. 带宽有效化：通过Block Swizzle和智能预取，将不规则访问模式部分“规整化”，提升DRAM访问效率。
3. 缓存友好：通过双缓冲和缓存控制，减少缓存冲突与失效，提高片上数据复用率。

软硬件协同是关键：这些硬件特性需要编译器（如昇腾CANN）和编程模型（如PTO编程接口）的深度支持。编译器需要能够：

• 识别SSA计算图中的Gather模式。
• 自动生成双流异步执行代码。
• 实施数据布局优化策略（Block Swizzle）。
• 调度预取指令以隐藏延迟。

结论：华为昇腾PTO指令集并非通过单一的“魔法指令”来优化不规则Gather，而是通过一套体系化的设计——异构流水线实现计算-访存重叠、多层次缓存与双缓冲机制减少延迟、以及增强的向量访存指令配合数据布局优化——来系统性地应对SSA等动态稀疏模型带来的不规则内存访问挑战。这反映了现代AI加速器设计从单纯追求峰值算力，向平衡计算、访存和控制的系统性效率转变的趋势。

参考来源

• 2026亚二次注意力架构重塑AI硬件指令集