amct（Ascend Model Compression Toolkit）是 CANN 内置的模型压缩工具，不是 AtomGit 上的独立开源仓库——它在 CANN AOE 调优引擎里作为一个子模块运行。amct 做三件事：量化（INT8/FP16）、剪枝（结构化/非结构化）、蒸馏（大模型教小模型）。三件事的共性目标：不换硬件、不换模型架构，让推理更快。

amct 在 CANN 里的位置

amct 挂在 AOE 调优引擎下，和其他调优工具共享一套 IR（中间表示）：

CANN 调优管线
├─ AOE（Ascend Optimization Engine）
│   ├─ OPAT  → 单算子调优（tiling 策略搜索）
│   ├─ SGAT  → 子图调优（融合算子搜索）
│   ├─ GDAT  → 全图调优（图结构搜索）
│   └─ AMCT  → 模型压缩（量化/剪枝/蒸馏）
└─ 部署
    └─ ATC / AOE 图编译器 → offline model (.om)

amct 的输出是一个压缩后的模型——量化权重、剪枝后的稀疏张量、或蒸馏后的学生模型。压缩后的模型通过 ATC 编译成 .om 文件，直接部署到 NPU 上推理。

量化：FP32 → INT8，精度换速度

量化是 amct 最成熟的能力。支持的方案：

量化方案	精度	速度提升	校准数据需求
PTQ（训练后量化）	99%+ 保持	2-3×	100-500 张校准图
QAT（量化感知训练）	99.5%+ 保持	2-3×	完整训练集
混合精度量化	99.9%+ 保持	1.5-2×	100-500 张校准图

PTQ 是首选——不需要重新训练，用少量校准数据自动搜索量化参数。

# amct 的简易量化接口（CANN 8.0+）

import torch
import torch_npu
from amct import QuantConfig, quantize_model

# 第一步：加载预训练模型
model = torch.load("llama-7b-fp32.pt").to("npu")

# 第二步：创建量化配置
# 敏感层保持 FP16（如 layernorm、softmax）
# 稠密层量化到 INT8（如 linear、matmul）
config = QuantConfig(
    backend="ascend",
    dtype="int8",
    calibration_method="minmax",            # minmax / histogram / MSE
    keep_fp16_layers=["layernorm", "softmax", "gelu"],
    per_channel=True                         # 逐通道量化 vs 逐张量
)

# 第三步：校准（PTQ）
# 跑 200 张校准图片，自动搜索每个 tensor 的 scale 和 zero_point
calib_data = load_calibration_dataset("calib_200_imgs")
quantized_model = quantize_model(
    model, config,
    calibration_data=calib_data,
    num_calib_steps=200
)

# 第四步：验证精度
# 如果精度损失在 1% 以内，保存量化模型
accuracy = evaluate(quantized_model, val_dataset)
assert accuracy > baseline_accuracy - 0.01  # 损失 < 1%

# 第五步：导出为 NPU 部署格式
torch_npu.export(quantized_model, "llama-7b-int8.om")

量化后模型大小缩减到原来的 1/4（FP32 4 bytes → INT8 1 byte），推理速度提升 2-3 倍。

量化背后的数值原理

量化不只是在算完后做截断。amct 对每个 tensor 独立计算 scale 和 zero_point：

量化公式：q = round(x / scale) + zero_point
反量化公式：x = (q - zero_point) * scale

其中：
  scale = (max - min) / (2^8 - 1)    // INT8: 256 个量化等级
  zero_point = round(-min / scale)   // 保证 0 值精确量化

关键技巧是校准数据的范围（min/max）不能直接用全局极值——极值可能是离群点（比如一个异常大的 softmax 输出），用它会压缩正常分布区的精度。

amct 的三种校准算法：

# 方法 1：MinMax（最简单，但对离群点敏感）
scale = (data.max() - data.min()) / 255.0
zero_point = round(-data.min() / scale)

# 方法 2：Histogram（对离群点有抗性）
# 把数据分 2048 个 bin，找累计分布到 99.99% 的区间
# 忽略顶部 0.01% 的离群值
hist, bins = np.histogram(data, bins=2048)
cdf = np.cumsum(hist) / len(data)
min_val = bins[np.searchsorted(cdf, 0.0001)]  # 0.01% 低尾
max_val = bins[np.searchsorted(cdf, 0.9999)]  # 0.01% 高尾
scale = (max_val - min_val) / 255.0

# 方法 3：MSE（最精确，但计算量大）
# 遍历所有可能的 scale 值，选反量化后 MSE 最小的
best_scale = minimize_mse(original_data, quantize_dequantize, scales)

踩坑一：混合精度的敏感层判断错误

默认把 layernorm 和 softmax 设为 FP16（保持精度），把所有 linear 设为 INT8。但有些模型里，第一个 embedding 层的输出范围极大（覆盖整个词表），INT8 量化后精度损失高达 3%。

错误配置：

# embedding 层被自动归为 linear → 量化为 INT8
# embedding 输出 [vocab_size=32000] × [hidden_dim=4096]
# 每个 token 的输出范围可能跨 3-4 个数量级
# INT8 的 256 个量化等级不够分辨 → 精度损失
config = QuantConfig(
    backend="ascend",
    dtype="int8",
    calibrate_all_linear=True   # 所有 linear 都量化，包括 embedding
)

正确配置：把 embedding 和 lm_head 加入 FP16 白名单。

config = QuantConfig(
    backend="ascend",
    dtype="int8",
    keep_fp16_layers=[
        "layernorm", "softmax", "gelu",
        "embed_tokens",   # embedding 层
        "lm_head",        # 输出层（大词表 softmax）
        "final_layer_norm"
    ]
)

踩坑二：校准数据集没覆盖边缘 case

PTQ 的校准质量完全取决于校准数据。200 张随机选的图片做校准——推理时遇到极端长度的输入（8192 tokens），量化参数不适用。

错误：

# 校准数据从训练集随机采样 200 张
calib_data = random_sample(train_dataset, 200)
# 都是中等长度（512-1024 tokens）
# 推理时遇到 4096+ tokens 的输入
# scale/zero_point 是用中等长度算的，长序列下数值范围超出 scale 定义区间
# 出现 INT8 溢出 → 输出全部变成 -128 或 127

正确：校准数据集按长度分层采样。

# 按序列长度分层采样
calib_data = stratified_sample(train_dataset, num_per_bucket={
    "0-512":   50,   # 短文
    "512-1024": 50,  # 中长文
    "1024-2048": 50, # 长文
    "2048-4096": 50, # 超长文
})

踩坑三：逐通道和逐张量量化的选择

逐通道量化（per-channel）给每个输出通道独立的 scale，精度高但计算开销大。逐张量量化（per-tensor）所有通道共用一个 scale，计算简单但精度低。

NPU 上的限制：Cube 单元的 INT8 矩阵乘要求两个输入都是逐张量量化——通道维度的 scale 不能参与矩阵乘。

# 错误：给了权重逐通道量化
# Cube 计算 A_int8 × B_int8 时需要 scale_A × scale_B
# 逐通道的 scale_B 是 [OC, 1]，矩阵乘不能带这个维度
# 编译时报错：unsupported tensor shape for INT8 matmul

config = QuantConfig(
    per_channel=True   # 权重逐通道量化 → INT8 MatMul 不兼容
)

# 正确：权重用逐张量，激活用逐通道
config = QuantConfig(
    per_channel_for_activations=True,  # 激活逐通道（softmax 后精度更好）
    per_channel_for_weights=False      # 权重逐张量（适配 Cube INT8 MatMul）
)

---

amct 的价值在于它把一个「用更少的内存跑更快的推理」的复杂问题，简化成了三行 Python 接口。但背后每个量化参数、每个敏感层选择、每个校准数据样本——都在影响最终精度。量化不是自动魔法，是需要在精度和速度之间做遍历才能找到的最优解。