Transformers LLM 推理：服务化部署实践

昇思MindSpore

177人浏览 · 2026-10-29 10:58:37

昇思MindSpore · 2026-10-29 10:58:37 发布

MindSpore‑Transformers 是适配昇腾 NPU 的大模型推理开发套件，兼容 HuggingFace Transformers 接口范式，结合 MindIE 推理引擎、FastAPI 异步服务框架，可快速构建高性能 LLM 推理服务。面向对话机器人、API 在线服务、批量文本处理等业务，解决大模型服务化场景下吞吐低、并发调度复杂、动态批处理、流式输出、多实例管理等问题，实现基于昇腾硬件的生产级大模型推理服务落地。

一、框架定位与核心价值

传统脚本式推理仅适合本地验证，无法直接对外提供高并发 HTTP 服务；原生 HuggingFace 推理在昇腾硬件上存在算子适配、动态 batch、长序列性能短板。MindSpore‑Transformers 提供模型加载、解码生成、采样策略、昇腾算子适配能力，对接 MindIE 推理引擎做高性能图优化，上层封装 Web 服务接口，完成从模型权重到在线推理服务的完整链路。核心价值如下：

● 接口兼容生态：对齐 HuggingFace Transformers 调用习惯，模型迁移改造成本低。

● 昇腾深度优化：内置 Flash‑Attention、PagedAttention、算子融合，充分发挥 NPU 算力。

● 服务化能力完备：支持动态批、流式输出、多并发请求、请求队列、请求超时控制。

● 部署形态多样：支持 Python 进程部署、MindIE 离线 OM 部署、容器化生产部署。

● 可观测易运维：提供 QPS、token 吞吐、时延指标统计，方便线上业务调优与故障排查。

二、总体架构与工作流

2.1 四层架构

1. 硬件层：昇腾 Ascend 910/310P NPU，提供 AI‑Core 算力、设备内存资源。

2. 推理引擎层：CANN 运行时、MindIE 推理引擎，负责图编译优化、算子执行、动态 Batch 调度。

3. MindSpore‑Transformers 层：模型加载模块、解码生成器、采样管理器、NPU 算子适配层；对接 MindIE 后端。

4. 业务服务层：FastAPI Web 服务、请求队列管理、OpenAI 兼容接口、客户端 SDK。

2.2 服务化标准执行流程

1. 服务启动初始化：加载 LLM 权重，MindSpore‑Transformers 完成模型转换，调用 MindIE 执行图编译，初始化推理实例、请求队列。

2. 接收用户请求：HTTP 客户端提交 prompt、生成参数（temperature、maxnewtokens 等），服务层完成参数校验。

3. 请求入队调度：请求送入调度队列，MindIE 动态 batch 聚合多个用户请求。

4. NPU 推理解码：调用 MindSpore‑Transformers generate 接口执行 prefill 与 decoding 迭代解码。

5. 结果返回：支持一次性完整返回或者流式 SSE 分片返回 token。

6. 会话清理与指标统计：请求完成释放 KV Cache 资源，统计时延、吞吐指标，等待下一轮请求。

三、核心组件介绍

3.1 模型加载适配模块

负责权重转换、模型实例初始化，兼容原生 HF 权重，自动适配昇腾 NPU。

● 权重转换：支持 HuggingFace 权重自动转为 MindSpore/MindIE 可用格式。

● 多模型支持：Qwen、Llama、GLM 等主流大模型。

● 后端切换：支持 MindSpore 动态图推理后端、MindIE 高性能推理后端。

3.2 解码生成管理器

封装 prefill 预填充、iter‑decoding 迭代解码逻辑，管理 KV‑Cache 生命周期。

● PagedAttention：分页 KV 缓存，大幅提升多并发场景显存利用率。

● 采样策略：greedy、top‑k、top‑p、temperature，支持确定性推理开关。

● 长度控制：maxnewtokens、stopwords、eosid 终止条件控制。

3.3 MindIE 推理后端

对接 CANN MindIE 引擎，做离线模型编译、动态 batch、算子融合优化。

● 图优化：算子融合、常量折叠、权重离线量化。

● 动态 Batch：自动聚合不同用户请求，提升服务 QPS。

● KV‑Cache 复用：多请求共享内存池，降低显存开销。

3.4 请求调度与队列组件

用于服务层并发管控，避免 NPU 过载。

● 请求队列：限长队列，队列满直接返回繁忙，防止雪崩。

● 超时控制：设置推理超时时间，卡住的请求主动中断释放资源。

● 并发数限制：控制同时送入 NPU 的最大并发请求数。

3.5 Web 服务接口层

对外提供 HTTP 接口，兼容 OpenAI 接口格式，便于现有业务直接对接。

● 普通非流式接口：一次性返回完整回答。

● SSE 流式接口：逐 token 推送，适合对话场景。

● 请求参数校验、异常捕获、返回统一错误码。

3.6 监控指标模块

● 统计 QPS、平均首 token 时延 (TTFT)、token/s 吞吐、请求失败率。

● 日志输出请求 prompt、生成结果、耗时，便于业务排查问题。

四、环境安装（可直接运行）

# 配置昇腾pip源
pip config set global.index-url https://pypi.mindspore.cn/simple

# 基础框架安装
pip install "mindspore>=2.4.0"
pip install mindformers
pip install mindspore-transformers

# web服务依赖
pip install fastapi uvicorn pydantic sse-starlette

# MindIE推理包，请参考CANN官方指引安装
source /usr/local/Ascend/latest/bin/set_env.sh

五、端到端实战代码（LLM 服务化部署示例）

5.1 MindSpore‑Transformers 推理封装

import mindspore as ms
from mindspore_transformers import AutoModelForCausalLM, AutoTokenizer

ms.set_context(mode=ms.GRAPH_MODE, device_target="Ascend")

# 加载模型与分词器，使用mindie后端
model_name = "qwen2‑7b‑instruct"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(
    model_name,
    backend="mindie",
    use_paged_attention=True
)

def infer_generate(prompt: str, max_new_tokens=256, temperature=0.7, stream=False):
    inputs = tokenizer(prompt, return_tensors="ms")
    outputs = model.generate(
        **inputs,
        max_new_tokens=max_new_tokens,
        temperature=temperature,
        do_sample=temperature>0,
        stream=stream
    )
    if stream:
        for token_chunk in outputs:
            yield tokenizer.decode(token_chunk, skip_special_tokens=True)
    else:
        return tokenizer.decode(outputs[0], skip_special_tokens=True)

5.2 FastAPI Web 服务主程序

from fastapi import FastAPI
from fastapi.responses import StreamingResponse
from pydantic import BaseModel

app = FastAPI(title="MindSpore‑Transformers LLM Service")

class InferenceRequest(BaseModel):
    prompt: str
    max_new_tokens: int = 256
    temperature: float = 0.7
    stream: bool = False

@app.post("/v1/generate")
def generate(req: InferenceRequest):
    if req.stream:
        gen = infer_generate(req.prompt, req.max_new_tokens, req.temperature, stream=True)
        return StreamingResponse(gen, media_type="text/event‑stream")
    else:
        result_text = infer_generate(req.prompt, req.max_new_tokens, req.temperature, stream=False)
        return {"prompt":req.prompt,"result":result_text}

if __name__ == "__main__":
    import uvicorn
    uvicorn.run(app, host="0.0.0.0", port=8000)

5.3 服务启动脚本

# 启动LLM推理服务
export MS_MEMORY_OPTIMIZE_LEVEL=1
python llm_service.py

5.4 客户端 curl 调用示例

# 非流式调用
curl -X POST http://127.0.0.1:8000/v1/generate \
‑H "Content‑Type: application/json" \
‑d '{"prompt":"简单介绍MindSpore","max_new_tokens":128,"temperature":0.7,"stream":false}'

# 流式SSE调用
curl -X POST http://127.0.0.1:8000/v1/generate \
‑H "Content‑Type: application/json" \
‑d '{"prompt":"简单介绍MindSpore","max_new_tokens":128,"temperature":0.7,"stream":true}'

六、关键优化与注意事项

1. 后端选型建议
验证调试阶段可以使用 mindspore 后端；生产服务强烈使用 mindie 后端，开启 PagedAttention 分页 KV 缓存，大幅提升并发能力。

2. 动态 Batch 配置
MindIE 动态 batch 可以显著提高 QPS；需要设置合理 maxbatchsize，过大会造成 NPU 显存 OOM；测试压测找到业务最优并发窗口。

3. KV‑Cache 显存管控
长文本场景 KV Cache 占用显存会快速上涨；PagedAttention 开启可以复用内存页；服务需要设置最大上下文长度，拒绝超长输入请求。

4. 服务并发保护
业务必须配置请求队列最大长度、推理超时时间，大量请求涌入时直接返回繁忙，避免 NPU 任务堆积，导致全部请求超时。

5. 流式输出性能
流式解码属于 token‑by‑token 迭代，首 token 时延 TTFT 是核心指标；开启算子融合、合理 prefill 优化，降低首包延迟。

6. 确定性推理场景
需要输出结果可复现时，设置temperature=0, do_sample=False，同时配套昇腾 NPU 底层确定性环境变量。

7. 容器化生产部署
线上生产建议基于 CANN 镜像做容器打包；模型权重挂载到容器外部；限制容器可见 NPU 设备；增加健康检查接口。

8. 压测调优流程
上线前做压测，采集 QPS、TTFT、token 吞吐；根据压测结果调整 maxbatchsize、并发数、上下文窗口。

七、典型应用场景

● 在线对话 API 服务：大模型对话接口，业务系统通过 HTTP 调用 LLM 能力，支持流式问答。

● 企业知识库问答：RAG 检索增强生成，后端调用 LLM 服务完成答案生成。

● 批量离线文本处理：文档摘要、文本改写、内容分类，通过服务接口批量提交任务。

● 模型验证回归服务：对外提供推理接口，用于自动化测试、精度回归校验。

● 多模型微服务平台：多套 LLM 实例，基于 MindSpore‑Transformers 快速封装推理微服务。

八、总结

MindSpore‑Transformers LLM 推理服务化部署，基于 MindSpore 模型生态，对接 MindIE 高性能推理引擎，向上封装 FastAPI Web 服务，完整实现从模型权重加载、解码推理、KV 缓存管理、HTTP 接口对外服务的全链路。

该方案兼容主流开源大模型，对齐 HuggingFace 使用习惯，同时深度利用昇腾 NPU 硬件优化能力，支持动态批处理、PagedAttention 分页 KV 缓存、流式输出、并发保护与指标监控，可直接用于企业级生产业务。开发者只需要少量代码，即可完成 LLM 在线推理服务的搭建，实现昇腾生态下大模型推理业务快速落地。