部署环境

服务器：鲲鹏 920 服务器（aarch64）
NPU 卡：昇腾 310P3
操作系统：UOS V2500
CANN 版本：8.2.RC1 > 注意：（必须）
PyTorch 版本：2.7.1
torch_npu 插件：2.7.1
Python版本：Python3.11.6
vLLM版本：v0.10.0
vLLM-Ascend版本：v0.10.0rc1
大模型：DeepSeek-R1-Distill-Qwen-1.5B

安装NPU驱动、固件以及CANN异构平台环境

CANN异构平台环境部署参考“UOS V2500 昇腾 CANN 异构平台部署手册”文档。
注意：如果使用容器化部署则只需安装NPU驱动与固件。

物理机部署方案

安装部署Pytorch框架

# 设置pip源
pip config set global.index-url https://mirrors.tuna.tsinghua.edu.cn/pypi/web/simple  
# 下载软件包 
wget https://download.pytorch.org/whl/cpu/torch-2.7.1%2Bcpu-cp311-cp311-manylinux_2_28_aarch64.whl

# 安装命令 
pip3 install torch-2.7.1+cpu-cp311-cp311-manylinux_2_28_aarch64.whl

安装torch_npu插件

# 下载插件包 
wget https://gitcode.com/Ascend/pytorch/releases/download/v7.2.0-pytorch2.7.1/torch_npu-2.7.1-cp311-cp311-manylinux_2_28_aarch64.whl 
# 安装命令 
pip3 install torch_npu-2.7.1-cp311-cp311-manylinux_2_28_aarch64.whl

注意：注：其他版本Pytorch、torch_npu安装参考昇腾安装文档。https://www.hiascend.com/document/detail/zh/Pytorch/720/configandinstg/instg/insg_0004.html

安装vLLM 和 vllm-ascend

# 安装服务依赖
yum update -y && yum install -y gcc g++ cmake numactl-devel wget git curl jq python3-devel python3-libs
# 源码安装vllm
git clone --depth 1 --branch v0.10.0 https://gitee.com/cdpro/vllm.git
cd vllm
VLLM_TARGET_DEVICE=empty pip install -v -e .
cd ..

# 安装vllm-ascend
export CPLUS_INCLUDE_PATH=/usr/include/c++/12:/usr/include/c++/12/aarch64-uos-linux
export PIP_EXTRA_INDEX_URL=https://mirrors.huaweicloud.com/ascend/repos/pypi
export SOC_VERSION=ASCEND310P3
git clone --depth 1 --branch v0.10.0rc1 https://gitee.com/cdpro/vllm-ascend.git
cd vllm-ascend
pip install -v -e . --extra-index https://download.pytorch.org/whl/cpu/

启动vLLM服务

vllm serve /root/ascend/models/DeepSeek-R1-Distill-Qwen-1.5B  --served-model-name=deepseek  --host 0.0.0.0   --dtype=float16  --tensor-parallel-size 1 --max-model-len 4096 --enforce-eager --compilation-config '{"level":0,"use_inductor":false,"cudagraph_mode":"none"}'

验证vLLM服务

curl -X POST http://localhost:8000/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "deepseek",
    "messages": [{"role": "user", "content": "你好，请介绍一下自己"}],
    "temperature": 0.7,
    "max_tokens": 200,
    "stream": false
  }'

容器化部署方案（推荐使用）

docker run \
--name vllm-ascend \
--shm-size=10g \
--ulimit nofile=65535:65535 \
--privileged \
--device /dev/davinci0 \
--device /dev/davinci_manager \
--device /dev/devmm_svm \
--device /dev/hisi_hdc \
-v /usr/local/dcmi:/usr/local/dcmi \
-v /usr/local/bin/npu-smi:/usr/local/bin/npu-smi \
-v /usr/local/Ascend/driver/lib64/:/usr/local/Ascend/driver/lib64/ \
-v /usr/local/Ascend/driver/version.info:/usr/local/Ascend/driver/version.info \
-v /etc/ascend_install.info:/etc/ascend_install.info \
-v /root/.cache:/root/.cache \
-v /root/ascend/models:/home/models \
-p 8000:8000 \
-itd registry.uniontech.com/uos-ai/uos-server-2500-vllm-ascend:V0.10.0rc1-310p \
--model /home/models/DeepSeek-R1-Distill-Qwen-1.5B \
--served-model-name=deepseek \
--dtype=float16 \
--max-model-len 4096 \
--enforce-eager \
--tensor-parallel-size 1 \
--host 0.0.0.0 \
--compilation-config '{"level":0,"use_inductor":false,"cudagraph_mode":"none"}' \
--disable-log-requests \  
--no-enable-prefix-caching

验证 vLLM 服务

curl -X POST http://localhost:8000/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "deepseek",
    "messages": [{"role": "user", "content": "你好，请介绍一下自己"}],
    "temperature": 0.7,
    "max_tokens": 200,
    "stream": false
  }'

Docker 容器运行核心参数（容器层面）

vLLM 业务参数（应用层面）

这部分参数是传递给vllm.entrypoints.openai.api_server的业务参数，控制模型加载、推理、API 服务的行为：