训练营简介
2025年昇腾CANN训练营第二季，基于CANN开源开放全场景，推出0基础入门系列、码力全开特辑、开发者案例等专题课程，助力不同阶段开发者快速提升算子开发技能。获得Ascend C算子中级认证，即可领取精美证书，完成社区任务更有机会赢取华为手机，平板、开发板等大奖。

报名链接：https://www.hiascend.com/developer/activities/cann20252#cann-camp-2502-intro

摘要：在 NPU 算子开发中，最令人绝望的时刻莫过于看到 Aicore Kernel Exec Failed 却没有任何有效日志。不同于 CPU 的同步执行，NPU 的异步流水线机制使得错误定位异常困难。本文将揭示 CPU 孪生调试 的底层原理，教你如何在 x86 也就是 Host 侧利用 GDB 单步追踪“NPU 代码”，并掌握在 Device 侧利用 Printf 和 ModelSim 定位“内存踩踏”与“数值异常”的高阶心法。

前言：当代码跑进“黑洞”

在通用软件开发中，我们习惯了 Segfault 后直接看 Core Dump，或者打断点看变量堆栈。 但在 Ascend NPU 上，事情变得复杂了：

1. 黑盒运行：Kernel 一旦发射到 Device，就像火箭升空，Host 只能等待结果（成功或坠毁）。

2. 异步异常：报错的行号往往不是真正出错的地方（因为指令流水线的延迟）。

3. 资源不可见：你无法直接 peek 看到 UB 或 L1 Cache 里的数据。

很多新手遇到问题只能靠“猜”和“删代码排除法”。这种低效的调试方式必须被改变。Ascend C 引入的 CPU Twin Debugging（CPU 孪生调试） 是一场调试革命。

一、 核心图解：CPU 孪生调试——给 NPU 代码照个镜子

Ascend C 的一大创举是：同一份 Kernel 代码，既可以在 NPU 上跑，也可以在 CPU 上跑。

这不是简单的模拟器，而是在 Host 侧提供了一套 C++ Mock 库。

• 当你编译 __aicore__ 代码时，编译器将其映射为 CPU 上的普通 C++ 函数。

• LocalTensor 被映射为 std::vector 或堆内存。

• DataCopy 被映射为 memcpy。

这意味着：你可以用 GDB、VSCode、CLion 直接打断点调试你的算子逻辑！

二、 实战：在 CPU 上抓“内存踩踏”

NPU 算子挂掉的 80% 原因都是 Out of Bound（越界读写），俗称“踩内存”。 在 NPU 上，踩内存可能不会立即报错，而是把别人的数据改坏了，导致后面莫名其妙的精度错误。

2.1 开启 CPU 调试模式

在 CMakeLists.txt 或编译选项中，指定目标为 CPU 仿真：

# 传统模式
cmake .. -Dsoc_version=Ascend910B ...
# 调试模式
cmake .. -Dsoc_version=Ascend910B -DASCEND_C_CPU_DEBUG=1 ...

2.2 配合 Address Sanitizer (ASan)

既然跑在 CPU 上，我们就可以利用 Linux 强大的工具链。 ASan 是抓内存越界的神器。在编译 Host 侧可执行程序时加入：

set(CMAKE_CXX_FLAGS "${CMAKE_CXX_FLAGS} -g -fsanitize=address")

现在，如果你的 DataCopy 多搬了一个 Byte，或者 SetAtomicAdd 指向了非法地址，程序会立即 crash 并打印出精确到行号的堆栈信息。

心法：任何算子在上板之前，必须通过 CPU 侧的 ASan 验证。这是工业级开发的铁律。

三、 进阶：Device 侧的“漂流瓶”——Printf

虽然 CPU 调试能解决逻辑和内存问题，但它无法模拟：

1. 指令时序：MTE 和 Vector 的并发竞争。

2. 硬件特异性：Cube 单元的特殊行为。

3. 精度差异：CPU 的 float 和 NPU 的 float 舍入模式可能不同。

当 CPU 跑通但 NPU 跑不对时，我们需要在 Device 侧扔出“漂流瓶” —— PRINTF。

3.1 内核打印

Ascend C 支持在 Kernel 内部直接调用 PRINTF（注意全大写）。

__aicore__ inline void Process() {
    // ...
    if (block_idx == 0) { // 永远加上这个过滤！
        PRINTF("Step %d: max_val = %f\n", i, maxVal);
    }
    // ...
}

3.2 避坑指南

1. 一定要限流：NPU 有成百上千个 Core，如果每个 Core 都在疯狂打印，日志管道瞬间就会堵死甚至丢数据。务必使用 if (GetBlockIdx() == 0) 限制只看第一个核。

2. 同步问题：PRINTF 是异步的。你看到的日志顺序可能和执行顺序不一致。

3. 性能杀手：PRINTF 会强制打断流水线，把数据搬回 Host。性能测试时必须删掉！

四、 终极手段：ModelSim 硬件仿真

如果你遇到的是极其底层的硬件行为异常（比如 Cube 计算死锁，或者原子操作概率性错误），PRINTF 也不灵了。 这时候需要动用核武器：CAModel (CANN Model Simulator)。

CAModel 是华为提供的指令级仿真器，它模拟了 Ascend 芯片的每一条指令流水。 通过 msprof 配合仿真模式，你可以看到：

• 每一条指令消耗了多少 Cycle。

• 每一个 Bank 的读写冲突情况。

• UB 内存的波形图。

虽然运行速度极慢（比真机慢千倍），但它是上帝视角。

五、 总结

调试是一门侦探艺术，而不是试错运气。

1. 开发阶段：利用 CPU Twin + ASan，确保逻辑 100% 正确，内存 0 越界。

2. 联调阶段：利用 PRINTF（带核号过滤），验证数值精度和关键节点状态。

3. 疑难杂症：利用 CAModel 和 Timeline，透视硬件微观行为。

不要害怕报错。每一个 Core Dump 都是 NPU 在试图告诉你：我不理解你的逻辑。通过调试工具听懂它的语言，你就能驾驭它。

本文基于昇腾 CANN 8.0 调试工具链编写。