一、引言

随着大语言模型、多模态大模型在国产算力生态中的规模化落地，基于昇思 MindSpore框架搭配昇腾 NPU 进行大模型训练，已成为国产化 AI 研发的主流方案。大模型具备参数量大、计算密集、显存占用高、迭代周期长等特点，训练过程中不仅需要保障 loss 正常收敛，还需持续监控模型效果、硬件负载、训练吞吐等多维指标。模型评估是判定模型拟合效果、泛化能力、任务适配性的核心手段，而训练优化则是提升算力利用率、降低时延、缩短迭代周期、控制硬件开销的关键技术。

传统训练模式往往重训练、轻评估，仅在训练结束后做一次性效果测试，无法及时发现过拟合、欠拟合、分布偏移等问题；同时未针对昇腾硬件做专项优化，容易出现显存溢出、算力利用率偏低、通信瓶颈等问题。围绕 MindSpore 大模型训练的全维度评估体系、评估方案实现、分层优化策略、工程代码落地展开，结合昇腾硬件特性，从模型效果评估、训练性能调优、显存优化、分布式协同四个维度进行讲解，形成一套可直接落地的大模型训练评估与优化完整方案，适配单机、多机分布式、混合精度训练等主流场景。

二、MindSpore 大模型训练评估体系设计

大模型训练评估分为训练过程在线评估与训练结束离线评估两大类，覆盖模型收敛性、任务精度、推理效果、硬件指标四大维度，贯穿训练全生命周期。

2.1 评估核心指标分类

2.1.1 模型收敛指标（在线实时评估）

该类指标伴随每一轮迭代采集，用于判断训练状态，是训练过程监控的基础，主要依托 MindSpore 回调机制实现。

1. 训练损失（Train Loss）：前向计算输出的损失值，反映模型对训练集数据的拟合程度。Loss 平稳下降并逐步收敛为正常状态；Loss 震荡、突增、出现 NaN/Inf 则代表训练异常。
2. 验证损失（Val Loss）：使用独立验证集计算损失，用于判断过拟合 / 欠拟合。当训练 Loss 持续下降、验证 Loss 不降反升时，模型出现过拟合；两类 Loss 均居高不下，则为欠拟合。

2.1.2 下游任务精度指标（离线 / 轮间评估）

针对大模型适配的具体业务任务，设置量化评估指标，是衡量模型最终能力的核心标准。

• 自然语言理解任务：准确率 (Accuracy)、F1 值、精确率、召回率，适用于分类、情感分析、语义匹配；
• 文本生成任务：困惑度 (Perplexity, PPL)、BLEU、ROUGE，PPL 越低代表模型生成文本越流畅自然；
• 多模态任务：图文匹配率、相似度分数、生成画质指标等。

2.1.3 训练性能指标（硬件 & 效率评估）

面向昇腾硬件与训练框架，评估算力利用效率，也是后续优化的依据：

1. 训练吞吐（Samples/sec）：单位时间处理样本数，直接反映整体训练速度；
2. 单步耗时（Step Time）：单次迭代前向 + 反向 + 参数更新总时延；
3. 显存占用（Memory Usage）：卡内显存、动态显存占用，判断是否存在显存冗余与溢出风险；
4. 算力利用率：昇腾 NPU 算力使用率、网络通信耗时占比，定位分布式训练瓶颈。

2.2 评估执行时机与流程

结合大模型训练长周期特点，采用轮间评估 + 定期全量评估结合的模式：

1. 逐 Step 监控：实时采集训练 Loss、单步耗时、显存占用，依靠 MindSpore Callback 实现；
2. 逐 Epoch 评估：每完成一轮全量数据迭代，运行验证集，计算 Val Loss 与基础任务精度；
3. 定期全量评估：每间隔若干 Epoch，在完整测试集上执行全量评估，输出 PPL、F1、BLEU 等综合指标，并保存最优模型权重；
4. 终止条件判断：当验证集指标连续多轮不再提升，自动触发早停（Early Stopping），避免无效训练与过拟合。

三、MindSpore 大模型评估核心代码实现

基于 MindSpore 2.3+、适配昇腾 Ascend 硬件，实现在线 Loss 监控、验证集评估、早停策略、指标记录一体化代码，以大语言模型预训练 / 微调场景为例，兼容 Graph 模式与分布式训练。

3.1 环境基础配置与依赖

import os
import time
import numpy as np
import mindspore as ms
from mindspore import nn, Tensor, context, ops
from mindspore.train import Callback, Model
from mindspore.dataset import GeneratorDataset
from mindspore.communication import init, get_rank
from mindspore.train.callback import CheckpointConfig, ModelCheckpoint

# 昇腾硬件全局配置
ms.set_seed(1234)
context.set_context(
    mode=context.GRAPH_MODE,    # 大模型推荐图模式，算子融合加速
    device_target="Ascend",
    device_id=0,
    max_call_depth=20000,
    enable_graph_kernel=True     # 开启图内核优化
)

# 分布式训练开启（多机多卡场景）
# init()
# rank = get_rank()

# 全局参数
BATCH_SIZE = 4
SEQ_LEN = 512
EPOCHS = 20
PATIENCE = 3  # 早停容忍轮数
SAVE_PATH = "./ckpt/"
LOG_FILE = "./train_eval_log.txt"

# 初始化日志文件
if os.path.exists(LOG_FILE):
    os.remove(LOG_FILE)
with open(LOG_FILE, "w", encoding="utf-8") as f:
    f.write("Epoch\tTrain_Loss\tVal_Loss\tPPL\tStep_Time(ms)\n")

3.2 自定义评估回调类（核心）

集成 Loss 采集、验证集评估、困惑度计算、早停、指标日志全功能：

class ModelEvalCallback(Callback):
    def __init__(self, eval_dataset, patience=3):
        super().__init__()
        self.eval_dataset = eval_dataset
        self.patience = patience
        self.best_val_loss = float("inf")
        self.patience_count = 0
        self.epoch_train_loss = 0.0
        self.step_count = 0
        self.start_time = 0

    def epoch_begin(self, run_context):
        """每轮Epoch开始计时、重置统计值"""
        self.epoch_train_loss = 0.0
        self.step_count = 0
        self.start_time = time.time()

    def step_end(self, run_context):
        """单步结束：采集训练Loss"""
        cb_params = run_context.original_args()
        loss = cb_params.net_outputs
        loss_val = float(loss.asnumpy())
        self.epoch_train_loss += loss_val
        self.step_count += 1

    def epoch_end(self, run_context):
        """每轮Epoch结束：执行验证集评估、计算指标、判断早停"""
        cb_params = run_context.original_args()
        cur_epoch = cb_params.cur_epoch_num

        # 1. 计算训练集平均Loss
        avg_train_loss = self.epoch_train_loss / self.step_count
        step_cost = (time.time() - self.start_time) * 1000 / self.step_count

        # 2. 验证集评估：Val Loss + PPL困惑度
        eval_model = cb_params.train_network
        eval_model.set_train(False)
        total_val_loss = 0.0
        val_steps = 0

        for data in self.eval_dataset.create_tuple_iterator():
            input_ids, labels = data
            loss = eval_model(input_ids, labels)
            total_val_loss += float(loss.asnumpy())
            val_steps += 1

        avg_val_loss = total_val_loss / val_steps
        ppl = np.exp(avg_val_loss)  # 由交叉熵损失计算困惑度PPL

        # 3. 早停策略判断
        if avg_val_loss < self.best_val_loss:
            self.best_val_loss = avg_val_loss
            self.patience_count = 0
            print(f"【最优模型更新】Epoch:{cur_epoch}, Best Val Loss: {self.best_val_loss:.4f}")
        else:
            self.patience_count += 1
            if self.patience_count >= self.patience:
                print(f"【早停触发】连续{self.patience}轮指标无提升，训练终止")
                run_context.request_stop()

        # 4. 打印并写入日志
        log_info = f"{cur_epoch}\t{avg_train_loss:.4f}\t{avg_val_loss:.4f}\t{ppl:.4f}\t{step_cost:.2f}\n"
        print(f"Epoch:{cur_epoch} | TrainLoss:{avg_train_loss:.4f} | ValLoss:{avg_val_loss:.4f} | PPL:{ppl:.4f} | StepTime:{step_cost:.2f}ms")
        with open(LOG_FILE, "a", encoding="utf-8") as f:
            f.write(log_info)

        eval_model.set_train(True)

3.3 模拟数据集、模型与训练流程

# 构造训练/验证模拟数据集
def create_dataset(samples_num):
    def gen():
        for _ in range(samples_num):
            input_ids = np.random.randint(0, 30000, (SEQ_LEN,), dtype=np.int32)
            labels = np.random.randint(0, 30000, (SEQ_LEN,), dtype=np.int32)
            yield input_ids, labels
    ds = GeneratorDataset(source=gen, column_names=["input_ids", "labels"], shuffle=True)
    ds = ds.batch(BATCH_SIZE, drop_remainder=True)
    return ds

train_ds = create_dataset(2000)
val_ds = create_dataset(500)

# 简易大模型骨干 + 损失函数（模拟Transformer Decoder结构）
class SimpleLLM(nn.Cell):
    def __init__(self, vocab_size=30000, hidden_dim=512):
        super().__init__()
        self.embedding = nn.Embedding(vocab_size, hidden_dim)
        self.dense = nn.Dense(hidden_dim, vocab_size)
        self.loss_fn = nn.CrossEntropyLoss()

    def construct(self, input_ids, labels):
        embed = self.embedding(input_ids)
        logits = self.dense(embed)
        loss = self.loss_fn(logits.view(-1, logits.shape[-1]), labels.view(-1))
        return loss

# 初始化网络、优化器
net = SimpleLLM()
optimizer = nn.Adam(net.trainable_params(), learning_rate=1e-4)

# 模型封装
model = Model(network=net, loss_fn=None, optimizer=optimizer)

# 回调组合：评估回调 +  checkpoint保存
eval_cb = ModelEvalCallback(val_ds, patience=PATIENCE)
ckpt_cfg = CheckpointConfig(save_checkpoint_steps=100, keep_checkpoint_max=5)
ckpt_cb = ModelCheckpoint(prefix="llm_ckpt", directory=SAVE_PATH, config=ckpt_cfg)

# 启动训练
if __name__ == "__main__":
    print("==== MindSpore 大模型训练+评估启动 ====")
    model.train(
        epoch=EPOCHS,
        train_dataset=train_ds,
        callbacks=[eval_cb, ckpt_cb],
        dataset_sink_mode=True
    )
    print("==== 训练与评估流程结束 ====")

四、MindSpore 大模型分层优化策略（适配昇腾 NPU）

结合评估阶段发现的显存过高、单步耗时长、算力利用率低、分布式通信瓶颈等问题，从精度优化、显存优化、计算优化、分布式优化四个层面落地调优方案，深度匹配昇腾硬件架构。

4.1 模型精度优化（解决过拟合、收敛慢）

1. 正则化策略
2. 在网络中添加 nn.Dropout、权重衰减（weight_decay），抑制过拟合；针对大模型采用权重衰减分层设置，Embedding 层、输出层增大衰减系数。
3. 学习率调度
4. 固定学习率易导致后期震荡，使用 MindSpore 内置 CosineDecayLR、WarmUpLR 实现热身 + 余弦退火，前期缓慢提升学习率，后期逐步衰减，保证平稳收敛。
5. 数据增强与清洗
6. 根据评估集分布差异清洗脏数据、做文本截断 / 填充标准化，缩小训练集与验证集分布偏移，降低泛化误差。

4.2 显存优化（解决显存溢出、内存冗余）

大模型训练显存占用主要来自模型参数、梯度、中间激活值，是昇腾训练最常见问题。

1. 混合精度训练
2. 开启 ms.set_context(amp_level="O2")，将部分算子由 FP32 转为 FP16，显存占用降低约 50%，同时配合动态损失缩放避免梯度下溢。
3. 重计算（Checkpoint）
4. 对 Transformer 多层注意力、前馈网络开启梯度重计算，牺牲少量计算时间，丢弃中间激活值，大幅削减显存，MindSpore 提供 recompute 装饰器一键开启。
5. 参数分片与显存复用
6. 分布式场景使用模型并行、流水线并行，将大模型权重拆分至多张昇腾卡；开启框架内存复用机制，复用临时张量空间。

4.3 计算性能优化（提升吞吐、降低单步时延）

1. 图模式与算子融合
2. 强制使用 Graph 模式，开启 enable_graph_kernel，MindSpore 自动融合相邻小算子，减少 NPU 调度开销，提升计算密度。
3. 数据下沉
4. 代码中 dataset_sink_mode=True，将数据预处理下沉至昇腾硬件，减少 CPU 与 NPU 之间的数据拷贝耗时。
5. 算子择优
6. 使用昇腾 CANN 优化算子替代通用算子，对 MatMul、Softmax、LayerNorm 等高频算子做硬件专项加速。

4.4 分布式训练优化（多机多卡场景）

1. 通信优化
2. 采用昇腾集合通信库 HCCL 替代通用通信接口，优化 AllReduce、AllGather 通信时延；合理设置通信域，减少跨卡数据交互。
3. 批处理与梯度累积
4. 受限于单卡显存无法使用大 batch 时，开启梯度累积，多步累积梯度后再更新参数，等效扩大批次，兼顾收敛效果与显存限制。

五、评估结果分析与问题定位

依托上文评估体系，可根据指标快速定位训练故障，结合优化手段针对性解决：

1. Train Loss 下降、Val Loss 上升 → 过拟合：增大 Dropout、调高权重衰减、缩减模型参数量、扩充验证集；
2. Train/Val Loss 均居高不下 → 欠拟合：调大学习率、减少正则、增加训练迭代轮数；
3. PPL 持续偏高 → 生成效果差：检查数据预处理、调整模型结构、延长热身学习率阶段；
4. 单步时延高、算力利用率低 → 计算瓶颈：开启算子融合、混合精度、数据下沉；
5. 训练时报错 Out of Memory → 显存溢出：启用重计算、混合精度、梯度累积、模型并行。

六、总结与拓展

本文基于昇思 MindSpore 与昇腾 NPU 硬件，搭建了全流程大模型训练评估体系，实现了 Loss、困惑度、单步耗时等核心指标的在线监控、轮间评估、日志记录与早停控制，并提供可直接运行的工程代码。同时结合大模型特性与昇腾硬件能力，从精度、显存、计算、分布式四个维度给出完整优化方案，解决训练过程中收敛异常、显存溢出、算力利用率低等典型问题。

评估与优化是大模型工程化落地的两大支柱：评估负责发现问题，通过多维指标监控训练全状态；优化负责解决问题，基于昇腾软硬件协同能力挖掘训练极限。