一、摘要

基于昇思 MindSpore 在单张昇腾 NPU（310P/910B）完成大模型微调 + 推理是轻量化落地常用方案。单卡流程包含：环境准备、权重加载、数据集构建、LoRA 微调、模型保存、离线推理全链路。相比于全参数微调，LoRA 低秩适配极大降低单卡显存压力，适合行业模型轻量化二次开发。

本文使用 MindSpore + MindFormers，以 Decoder-only 大模型为例，完整实现单卡 LoRA 微调、权重合并、本地推理整套自助流程，适配昇腾 CANN 环境。

运行环境：openEuler、CANN、MindSpore2.3、MindFormers、昇腾 NPU 单卡。

二、环境初始化代码（NPU 设备配置）

# env_init.py
import os
import mindspore as ms
from mindspore import context
def init_npu_env():
    # 指定昇腾NPU卡号
    os.environ["DEVICE_ID"] = "0"
    # MindSpore昇腾后端配置
    context.set_context(
        mode=context.GRAPH_MODE,
        device_target="Ascend",
        device_id=int(os.environ["DEVICE_ID"]),
        save_graphs=False
    )
    # 显存优化策略，单卡微调防OOM
    ms.set_auto_parallel_context(parallel_mode=ms.ParallelMode.STAND_ALONE)
    ms.set_context(max_call_depth=2000)
    print("昇腾NPU单卡环境初始化完成")
if __name__ == "__main__":
    init_npu_env()

三、训练数据集构建代码

采用指令微调标准 JSON 数据集，封装 MindSpore Dataset 迭代器

# dataset.py
import json
import mindspore.dataset as ds
from mindformers import PromptTokenizer
class SFTDataSet:
    def __init__(self, data_path, tokenizer_path, seq_len=512):
        self.seq_len = seq_len
        self.tokenizer = PromptTokenizer(tokenizer_path)
        with open(data_path, "r", encoding="utf-8") as f:
            self.data = json.load(f)
    def __len__(self):
        return len(self.data)
    def __getitem__(self, idx):
        sample = self.data[idx]
        prompt = f"###指令：{sample['instruction']}\n###回答：{sample['output']}"
        token = self.tokenizer(
            prompt,
            padding="max_length",
            truncation=True,
            max_length=self.seq_len
        )
        input_ids = token["input_ids"]
        attention_mask = token["attention_mask"]
        labels = input_ids.copy()
        return input_ids, attention_mask, labels
def create_sft_dataloader(data_path, tokenizer_path, batch_size=2):
    dataset_generator = SFTDataSet(data_path, tokenizer_path)
    dataset = ds.GeneratorDataset(
        dataset_generator,
        column_names=["input_ids", "attention_mask", "labels"],
        shuffle=True
    )
    dataset = dataset.batch(batch_size, drop_remainder=True)
    return dataset

数据集 data.json 格式参考：

[
    {"instruction":"介绍昇思MindSpore","output":"MindSpore是华为开源全场景AI框架"}
]

四、单卡 LoRA 微调主训练代码

# train_lora_single_card.py
from env_init import init_npu_env
from dataset import create_sft_dataloader
import mindspore as ms
from mindformers import AutoModel, AutoConfig, LoRAConfig
from mindspore.nn import AdamWeightDecay
from mindspore.train import Model
from mindspore.train.callback import SaveCheckpoint, CheckpointConfig
init_npu_env()
# 1. LoRA配置
lora_config = LoRAConfig(
    lora_rank=8,
    lora_alpha=16,
    target_modules=["q_proj", "v_proj"],
    lora_dropout=0.05,
    bias="none"
)
# 2. 加载基础大模型
model_config = AutoConfig.from_pretrained("./base_model")
model_config.checkpoint_name_or_path = "./base_model/ckpt"
network = AutoModel.from_config(model_config)
# 注入LoRA层，冻结主干权重
network.freeze()
network.add_lora(lora_config)
# 3. 数据集
train_dataset = create_sft_dataloader(
    data_path="./data.json",
    tokenizer_path="./base_model",
    batch_size=2
)
# 4. 优化器与训练封装
lr = ms.nn.exponential_decay_lr(
    learning_rate=2e-4,
    decay_rate=0.9,
    total_step=1000,
    step_per_epoch=len(train_dataset),
    decay_epoch=1
)
optimizer = AdamWeightDecay(network.trainable_params(), learning_rate=lr)
# 损失函数
loss_fn = ms.nn.CrossEntropyLoss(ignore_index=0)
train_net = ms.nn.WithLossCell(network, loss_fn)
train_net = ms.nn.TrainOneStepCell(train_net, optimizer)
# 5. 训练循环与保存
ckpt_cfg = CheckpointConfig(save_checkpoint_steps=50, keep_checkpoint_max=5)
save_cb = SaveCheckpoint(config=ckpt_cfg, directory="./lora_ckpt")
epochs = 3
for epoch in range(epochs):
    for batch_data in train_dataset.create_tuple_iterator():
        input_ids, attn_mask, labels = batch_data
        loss = train_net(input_ids, attn_mask, labels)
        print(f"epoch:{epoch}, loss:{loss.asnumpy():.4f}")
print("单卡LoRA微调完成，LoRA权重已保存")

五、微调后推理代码（单卡本地推理）

# infer.py
from env_init import init_npu_env
from mindformers import AutoModel, AutoTokenizer
init_npu_env()
tokenizer = AutoTokenizer.from_pretrained("./base_model")
model = AutoModel.from_pretrained("./base_model")
# 加载训练得到的LoRA权重
model.load_lora_ckpt("./lora_ckpt/lora_rank_8.ckpt")
def predict(prompt_text):
    inputs = tokenizer(f"###指令：{prompt_text}\n###回答：", return_tensors="ms")
    output = model.generate(
        **inputs,
        max_length=256,
        temperature=0.7,
        top_p=0.9
    )
    result = tokenizer.decode(output[0], skip_special_tokens=True)
    return result
if __name__ == "__main__":
    res = predict("简单介绍MindSpore单卡微调流程")
    print("模型输出：\n", res)

六、启动脚本 shell

# run_single_card.sh
#!/bin/bash
export ASCEND_TOOLKIT_PATH=/usr/local/Ascend/ascend-toolkit/latest
source ${ASCEND_TOOLKIT_PATH}/bin/set_env.sh
export DEVICE_ID=0
python3 train_lora_single_card.py
执行：bash run_single_card.sh

七、单卡调优关键要点

显存控制：优先 LoRA 替代全参数微调；开启梯度检查点 model_config.use_recompute=True，大幅降低显存占用，避免单卡 OOM；

运行模式：GRAPH_MODE 性能远高于 PYNATIVE_MODE，正式训练统一使用图模式；

数据加载：单卡不要设置过大 batch_size，根据 NPU 显存逐级调试；

权重管理：LoRA 权重体积很小，推理时动态加载，也可执行权重合并导出完整模型用于 ATC 离线转换；

性能观测：使用 npu-smi 观测显存、算力利用率，及时发现数据加载瓶颈。

八、总结

整套自助搭建流程分为环境初始化、数据集构建、LoRA 单卡微调、权重加载推理四大环节。MindSpore 搭配 MindFormers 封装了大模型通用接口，降低了昇腾硬件上大模型开发门槛。单卡方案无需分布式集群，适合模型验证、小样本行业微调、原型验证场景。

开发流程标准统一，可快速迁移至 310P、910 系列昇腾设备。在工程实践中，可增加早停策略、验证集评估、日志保存，形成完整可自动化运行的单卡微调推理流水线。