大模型训练：高效推理应用场景的分析

昇思MindSpore

14人浏览 · 2026-10-27 14:48:51

昇思MindSpore · 2026-10-27 14:48:51 发布

大模型完成预训练、SFT 微调之后，需要进入推理部署环节，面向对话问答、内容生成、知识库问答等业务场景提供服务。昇思 MindSpore 结合 MindSpore‑Transformers 套件，基于昇腾 NPU 硬件，提供增量推理、KVCache 缓存、多 batch 并发、多卡模型并行、流式输出、量化压缩等全套推理能力，打通 “训练‑微调‑推理” 完整链路。本文结合实操代码、配置样例，介绍不同业务场景下高效推理的实现方式，适配 CANN8.5，MindSpore‑Transformers1.9 环境，帮助开发者针对不同业务选择合适推理方案，兼顾推理时延与吞吐性能。

一、高效推理核心原理与业务场景划分

大模型自回归文本生成分为 Prefill 全量计算阶段与 Decode 增量生成阶段。Prefill 处理用户输入 Prompt，完整计算全部 token 的 Key‑Value；Decode 阶段复用 KVCache 缓存，仅计算最新生成 token，避免重复计算，这是大模型推理性能优化的关键点。

常见业务场景分为四类：

1. 交互式对话场景：单请求低时延，流式逐字输出，面向聊天机器人；

2. 离线批量生成场景：大量文本批量处理，优先追求高吞吐，允许较高单请求时延；

3. 超大模型推理场景：70B/72B 及以上大模型，单卡放不下权重，需要多卡模型并行切分；

4. 服务化高并发场景：线上 API 服务，大量用户请求混跑，需要动态批处理、分页 KV 缓存提升并发能力。

关键优化开关：use_past=True开启增量 KVCache，是所有生产推理的必选配置；关闭后每一步都做全量计算，速度会下降数倍。

二、环境准备

环境：Atlas 300I Pro，openEuler 22.03 ARM64，CANN8.5.0，MindSpore2.3，MindSpore‑Transformers1.9。

# 加载CANN环境变量
echo "source /usr/local/Ascend/ascend‑toolkit/8.5.0/set_env.sh" >> ~/.bashrc
source ~/.bashrc

# 安装依赖
pip install transformers numpy

# 校验环境
python3 -c "
import mindspore as ms
from mindformers import AutoModel, AutoTokenizer
print('mindspore版本', ms.__version__)
print('mindformers导入成功')
"

三、场景一：交互式对话，流式推理（低时延）

面向聊天机器人，需要边生成边返回文本，而不是等待全部 token 生成完毕。MindFormers 提供 Streamer 组件实现流式输出，generate接口设置streamer参数完成逐 token 返回，开启use_past=True增量推理降低每一步 Decode 时延。

import mindspore as ms
from mindformers import AutoModel, AutoTokenizer, TextStreamer

ms.set_context(mode=0, device_target="Ascend", device_id=0)

# 加载模型与分词器，Qwen2.5‑7B示例
model_name_or_path = "./hf_qwen2.5‑7b"
tokenizer = AutoTokenizer.from_pretrained(model_name_or_path, trust_remote_code=True)
model = AutoModel.from_pretrained(
    model_name_or_path,
    use_past=True,        # 开启KVCache增量推理
    is_sample_acceleration=True
)

prompt = "请简单介绍昇腾NPU在大模型领域的应用。"
inputs = tokenizer(prompt, return_tensors="ms")

# 初始化流式输出
streamer = TextStreamer(tokenizer, skip_prompt=True, skip_special_tokens=True)

# generate接口，流式生成
output = model.generate(
    **inputs,
    max_new_tokens=200,
    do_sample=True,
    top_p=0.8,
    streamer=streamer
)

运行后终端会逐字打印生成内容，适合 Web 对话交互场景。

四、场景二：离线批量推理，多 Batch 高吞吐

文档摘要、数据集扩充等离线任务，输入样本数量巨大，使用多 batch 推理，充分利用 NPU 算力，提升整体吞吐。

import mindspore as ms
from mindformers import AutoModel, AutoTokenizer

ms.set_context(mode=0, device_target="Ascend", device_id=0)

model_name_or_path = "./hf_qwen2.5‑7b"
tokenizer = AutoTokenizer.from_pretrained(model_name_or_path, trust_remote_code=True, padding_side="left")
model = AutoModel.from_pretrained(model_name_or_path, use_past=True)

# 批量输入多条prompt
batch_prompts = [
    "什么是大模型增量推理？",
    "昇思MindSpore框架有什么特点？",
    "KVCache缓存作用是什么？",
    "简述模型并行推理原理。"
]

# 批量编码，padding补齐
batch_inputs = tokenizer(
    batch_prompts,
    padding=True,
    truncation=True,
    max_length=512,
    return_tensors="ms"
)

batch_out = model.generate(
    **batch_inputs,
    max_new_tokens=128,
    do_sample=False
)

# 批量解码输出结果
for idx, out_ids in enumerate(batch_out):
    result = tokenizer.decode(out_ids, skip_special_tokens=True)
    print(f"【输入】{batch_prompts[idx]}")
    print(f"【输出】{result}\n")

也可以直接使用 run_mindformer 脚本，读取 txt 文件执行批量推理：

python run_mindformer.py \
--config configs/qwen25/predict_qwen25.yaml \
--run_mode predict \
--predict_batch_size 4 \
--predict_data ./batch_input.txt

五、场景三：超大模型多卡模型并行推理

70B、72B 规模模型单卡无法放下完整权重，开启模型并行，把权重切分至多块 NPU 卡上。yaml 配置关键参数如下：

model:
  model_config:
    use_past: True
parallel_config:
  model_parallel: 2     # 模型张量并行，2卡切分权重
  pipeline_parallel: 1
use_parallel: True
auto_trans_ckpt: True

启动脚本使用 msrun 拉起多进程：

bash scripts/msrun_launcher.sh "python run_mindformer.py \
--config configs/qwen25_72b/predict_qwen25_72b.yaml \
--run_mode predict" 2

六、场景四：高并发线上服务化推理

面向线上 API 服务，大量长短不一请求同时到达，原生静态 batch 能力有限，可对接 MindIE 推理引擎，支持分页 KV 缓存、动态批调度，提升并发请求的处理能力，支持 LoRA 多租户、长短请求混跑，适合生产环境部署。

MindIE 的最小配置片段示例：

model:
  model_config:
    use_past: True
infer:
  max_batch_size: 32
  max_seq_len: 2048
  kv_cache_mem_size_gb: 24
parallel_config:
  model_parallel: 2