一、引言

在大语言模型（LLM）、Transformer 模型训练过程中，实时监控训练状态是保证模型收敛、排查性能瓶颈、调整超参的核心环节。MindSpore Transformers 原生集成 SummaryCollector + TensorBoard 监控方案，无需额外开发，即可在昇腾 NPU 训练时实时采集、可视化、追溯全部关键指标，让训练过程完全透明、可观测、可复现。

TensorBoard 原本是 TensorFlow 生态的可视化工具，现已成为深度学习训练监控事实标准。MindSpore 提供完整对接，支持损失、学习率、精度、吞吐量、梯度、权重分布等全方位可视化。

二、TensorBoard 在 MindSpore Transformers 中的核心作用

1. 训练监控核心内容

MindSpore 自动采集并在 TensorBoard 展示：

• loss 损失曲线（实时观察是否收敛、是否震荡）
• 学习率 LR 变化曲线
• 吞吐量（吞吐量 / 秒）
• 精度（acc/acc_top5）
• 权重 / 梯度分布
• 计算图结构
• 学习曲线、训练步数

2. 核心价值

• 实时判断模型是否正常收敛
• 快速发现 loss 爆炸、不下降、震荡
• 监控昇腾 NPU 训练性能
• 可视化学习率调度策略是否生效
• 多轮训练对比，快速选择最优模型
• 企业级训练可追溯、可审计

3. 优势（昇腾 NPU 训练）

• 低开销、不影响训练速度
• 实时写入、实时刷新
• 支持分布式训练多卡监控
• 与 MindSpore Transformers 无缝兼容
• 浏览器访问，跨平台查看

三、MindSpore Transformers 训练 + TensorBoard 完整代码

以下代码适用于 LLaMA、Qwen、Baichuan、GLM、BERT 等所有模型训练 / 微调。

1. 环境安装

pip install mindspore mindformers tensorboard

2. 训练代码（自动开启 TensorBoard 监控）

import mindspore as ms
import mindspore.dataset as ds
from mindspore import nn
from mindspore.train import Model, CheckpointConfig, ModelCheckpoint
from mindformers import AutoModel, AutoTokenizer
from mindspore.train.callback import SummaryCollector  # TensorBoard 核心

# ===================== 昇腾 NPU 配置 =====================
ms.set_context(
    device_target="Ascend",
    mode=ms.GRAPH_MODE,
    device_id=0
)
ms.set_seed(42)
# ========================================================

# ===================== 模型 & 分词器 =====================
model_name = "qwen_7b"
model = AutoModel.from_pretrained(model_name)
tokenizer = AutoTokenizer.from_pretrained(model_name)
# ========================================================

# =====================  SummaryCollector：开启 TensorBoard =====================
# 自动采集：loss、lr、acc、梯度、权重、性能
# 日志将保存在 ./summary_dir 下，供 TensorBoard 读取
summary_collector = SummaryCollector(
    summary_dir="./summary_dir",        # 日志输出目录
    collect_freq=10,                    # 每 10 步采集一次
    collect_graph=True,                 # 收集计算图
    collect_trainable_params=True,       # 收集权重/梯度
    collect_dataset_sink_mode=False
)
# ================================================================================

# ===================== 优化器 & 损失 =====================
optimizer = nn.AdamWeightDecay(
    model.trainable_params(),
    learning_rate=2e-5,
    beta1=0.9,
    beta2=0.95
)
loss = nn.CrossEntropyLoss()

# 封装模型
model = Model(
    model,
    loss_fn=loss,
    optimizer=optimizer,
    metrics=None
)
# ========================================================

# ===================== 模拟数据集 =====================
def generate_dataset():
    for _ in range(1000):
        yield ms.numpy.randint(0, 32000, (1, 512)), ms.numpy.randint(0, 1, (1, 512))
dataset = ds.GeneratorDataset(generate_dataset, ["input_ids", "labels"])
dataset = dataset.batch(1)
# ========================================================

# ===================== 开始训练（自带 TensorBoard） =====================
print("开始训练，TensorBoard 日志已保存至：./summary_dir")
model.train(
    epoch=3,
    train_dataset=dataset,
    callbacks=[summary_collector],   # 关键：加入监控
    dataset_sink_mode=False
)

四、启动 TensorBoard 查看实时监控

训练启动后，新开终端执行：

tensorboard --logdir="./summary_dir" --port=6006

打开浏览器访问：

http://服务器IP:6006

即可看到实时训练监控面板。

五、TensorBoard 可视化效果与内容详解

1. ** scalars 面板（最重要）**

展示：

• loss 下降曲线
• learning rate 学习率曲线
• throughput 吞吐量
• 精度指标

作用：

• 看 loss 是否平滑下降
• 看学习率是否按预期衰减
• 判断是否过拟合 / 欠拟合

2. ** graphs 面板 **

展示完整 Transformer 计算图结构：

• LLM 层级结构
• 注意力机制、FFN
• 昇腾 NPU 算子图

3. ** distributions 面板 **

展示：

• 权重分布
• 梯度分布

可快速判断：

• 梯度消失 / 爆炸
• 权重更新异常

4. ** histograms 面板 **

梯度直方图，用于调试训练稳定性。

六、在 LLM 微调中自动启用 TensorBoard

MindFormers 训练脚本已内置 SummaryCollector，只需在配置中打开：

callbacks:
  - summary_collector:
      summary_dir: "./summary_dir"
      collect_freq: 10

然后启动训练：

python run_mindformer.py --config qwen_7b_lora.yaml

自动开启 TensorBoard 监控。

七、生产环境训练监控最佳实践

1. 每 10 步采集一次，不影响性能
2. 保存目录使用共享存储，支持多卡
3. TensorBoard 端口通过防火墙开放
4. 长期训练可历史追溯对比
5. 结合 loss 曲线提前停止不收敛任务

八、总结

MindSpore Transformers + TensorBoard 是昇腾 NPU 训练 Transformer/LLM 最标准、最稳定、最高效的在线监控方案。

核心价值：

• 实时监控 loss、学习率、梯度、性能
• 可视化训练过程，快速排错
• 昇腾 NPU 原生支持、低开销
• 开箱即用，无需改造代码
• 企业级可追溯、可审计、可复现

无论预训练、微调、推理优化，TensorBoard 都是训练必备工具，可显著提升训练效率与模型质量。