文章简介

使用 MindSpore（昇腾 Ascend 平台）训练神经网络时，经常遇到损失卡在固定值、loss 不收敛、训练完全不学习的问题。本文整理一套完整排查流程，从学习率、参数初始化、正则、数据集、网络结构、优化器6 个维度定位问题，附带 MindSpore 代码示例，适合昇腾实验、课程项目踩坑参考。

平台：MindSpore + 昇腾 Ascend 适用场景：图像分类、鸢尾花、Fashion-MNIST 等实验任务

一、常见故障现象

训练过程出现以下任意情况，说明模型不收敛：

• Loss 固定不变，卡在某一个数值（多为随机猜测损失）
• Loss 剧烈震荡，始终无法稳步下降
• 前期下降，后期完全卡住不动
• 训练集 acc 极低，完全不拟合
• 测试集精度全程不变

核心结论：Loss 不降只有两种原因：代码逻辑错误 / 超参数不合理。

---

二、逐级排查（优先级从高到低，最强干货）

1. 学习率问题（出现概率最高！90% 人踩坑）

学习率是训练不收敛第一元凶。

• 学习率过大：参数更新幅度太大，在最优值附近震荡，无法收敛
• 学习率过小：参数更新极慢，几十轮几乎无变化

MindSpore 推荐学习率

• 简单全连接网络（鸢尾花）：1e-2 ~ 1e-3
• Fashion-MNIST、浅层 CNN：1e-3
• 深层网络：1e-3 ~ 5e-4

# 标准正确写法
opt = nn.Adam(net.trainable_params(), learning_rate=1e-3)

2. 正则化太强导致模型 “完全学不动”

这是 B04 正则化实验 最常见问题！正则过重直接压制梯度更新。

• L2 weight_decay 过大：权重被强制趋近于 0，参数无法更新
• Dropout 比例过高（如 0.8、0.9）：大部分神经元失效，网络信息断层
• BN 层位置错误：激活前后顺序颠倒导致梯度异常

✅ 快速验证方法：暂时注释所有正则，如果 Loss 正常下降，说明正则太强！

3. 数据集预处理错误（最隐蔽、最容易忽略）

数据不规范，网络根本学不到特征。

• 图像未归一化：0~255 直接输入，梯度过大不收敛
• 标签格式与损失函数不匹配（致命错误）
• 数据集未 shuffle，批次顺序固定

特别注意：

• sparse=True → 标签为整型
• sparse=False → 标签必须 one-hot 编码

# 正确归一化
def preprocess(x, label):
    x = x.astype(ms.float32) / 255.0
    return x, label

4. 参数初始化错误

如果权重全部初始化为 0，所有神经元输出一致、梯度一致，网络完全无法学习。

❌ 错误：

nn.Dense(in_dim, out_dim, weight_init="zeros")

✅ 正确（MindSpore 默认最优）：

from mindspore.common.initializer import XavierUniform
nn.Dense(in_dim, out_dim, weight_init=XavierUniform())

5. 优化器未绑定参数（低级但高频 BUG）

优化器没有接收网络参数，参数全程不更新，Loss 必然不变。

❌ 错误：

opt = nn.Adam([], learning_rate=1e-3)

✅ 正确：

opt = nn.Adam(net.trainable_params(), learning_rate=1e-3)

6. 训练模式错误（Dropout/BN 不生效）

自定义循环训练时，如果不开启训练模式：

• Dropout 失效
• BN 不更新均值方差

net.set_train(True)

---

三、万能快速定位法（1 分钟排错）

遇到 Loss 不降，直接按下面流程跑：

1. 关闭所有正则（删除 L2、Dropout、BN）
2. 学习率固定 1e-3
3. 检查数据归一化 + 标签格式
4. 少量样本强制过拟合测试

少量样本能过拟合 = 超参 / 正则问题 少量样本不能过拟合 = 代码 BUG

---

四、总结

MindSpore 训练 Loss 不下降主要由学习率不合适、正则化过强、数据预处理错误、优化器未绑定参数、初始化不当、训练模式错误六大原因造成。调试时应优先排除代码逻辑问题，再调整超参数与正则强度。通过逐层排查，可快速解决模型不收敛、不拟合、不学习的问题。