1、硬件与软件环境准备

• 麒麟V11操作系统，服务器版，arm架构

Linux localhost.localdomain 6.6.0-32.7.v2505.ky11.aarch64 #1 SMP PREEMPT_DYNAMIC Fri Jul  4 14:46:19 UTC 2025 aarch64 aarch64 aarch64 GNU/Linux

• 昇腾300i Duo 核心是310p标识

[root@localhost ~]# npu-smi info
+--------------------------------------------------------------------------------------------------------+
| npu-smi 25.5.1                                   Version: 25.5.1                                       |
+-------------------------------+-----------------+------------------------------------------------------+
| NPU     Name                  | Health          | Power(W)     Temp(C)           Hugepages-Usage(page) |
| Chip    Device                | Bus-Id          | AICore(%)    Memory-Usage(MB)                        |
+===============================+=================+======================================================+
| 1       310P3                 | OK              | NA           74                16841 / 16841         |
| 0       0                     | 0000:01:00.0    | 79           35634/ 44278                            |
+-------------------------------+-----------------+------------------------------------------------------+

2、驱动、固件与CANN安装

2.1 注意驱动、固件、CANN与mindie之间有着对应关系

https://www.hiascend.com/document/detail/zh/mindie/230/releasenote/releasenote_0004.html

2.2 驱动与固件下载地址

下面是我下载版本8.5.0对应mindie3.2版本，下载run格式，注意这里要选择你想用的CANN版本，我选择的是8.5.0。

https://www.hiascend.com/hardware/firmware-drivers/community?product=2&model=17&cann=8.5.0&driver=Ascend+HDK+25.5.1

2.3 驱动与固件安装

下载完成后，在文件位置运行终端。注意可能遇到问题，需要安装dkms解决。

遇到这个问题，感觉是操作系统bug,路径指引不对，注意验证自己的路径！

我的路径是下面这个，与他说的版本不一致导致错误，修改好路径后正确。

/usr/lib/modules/6.6.0-32.7.v2505.ky11.aarch64

2.4 安装CANN

2.4.1 官方安装指南：https://www.hiascend.com/document/detail/zh/CANNCommunityEdition/850alpha001/softwareinst/instg/instg_quick.html?Mode=PmIns&OS=openEuler&Software=cannToolKit

2.4.2下载地址

其中昇腾300i duo对应310p版本，可以查看npu-smi info 选择正确版本下载：

https://www.hiascend.com/developer/download/community/result?module=cann&cann=8.5.0

2.4.3安装过程

如下，注意配置好环境变量。

# 安装Toolkit开发套件包
chmod +x Ascend-cann-toolkit_8.5.0.alpha001_linux-aarch64.run 
./Ascend-cann-toolkit_8.5.0.alpha001_linux-aarch64.run --install

# 配置环境变量
source /usr/local/Ascend/ascend-toolkit/set_env.sh

# 安装Kernels算子包
chmod +x Atlas-A3-cann-kernels_8.5.0.alpha001_linux-aarch64.run
./Atlas-A3-cann-kernels_8.5.0.alpha001_linux-aarch64.run --install

2.4.4 依赖安装

如遇到问题，安装相应依赖：

• 安装g++。openEuler、CentOS、Kylin、BCLinux、UOS V20、AntOS、AliOS、CTyunOS、CULinux、Tlinux、MTOS：

  sudo yum install -y gcc-c++
  

• 安装Python第三方库（如果使用root用户安装，请将命令中的--user删除）。

  pip3 install attrs cython 'numpy>=1.19.2,<=1.24.0' decorator sympy cffi pyyaml pathlib2 psutil protobuf==3.20.0 scipy requests absl-py --user
  

  以上命令会安装最新版本或指定版本的依赖，关于Python第三方库、glibc版本要求请参见运行依赖列表。

  若安装过程中提示pip源不可以用，请参见配置pip源，完成后再执行安装命令。

3、Docker环境部署

下载docker

4、MindIE框架安装

4.1 官方文档

注意选取合适版本，与CANN有着强对应关系。

https://www.hiascend.com/document/detail/zh/mindie/230/index/index.html

4.2 docker拉取

4.2.1 选取镜像版本

https://www.hiascend.com/developer/ascendhub/detail/af85b724a7e5469ebd7ea13c3439d48f

4.2.2 docker进行拉取

最后面的版本自行替换为截图中对应版本名称：mindie:2.1.RC2-300I-Duo-py311-openeuler24.03-lts

docker pull swr.cn-south-1.myhuaweicloud.com/ascendhub/mindie:2.1.RC2-300I-Duo-py311-openeuler24.03-lts

4.2.3 docker运行

docker run -itd --net=host --ipc=host --shm-size=64g --name qwen-mindie-hf --device=/dev/davinci0 --device=/dev/davinci1 --device=/dev/davinci_manager --device=/dev/hisi_hdc --device=/dev/devmm_svm -v /usr/local/Ascend/driver:/usr/local/Ascend/driver:ro -v /usr/local/sbin:/usr/local/sbin:ro -v /data/models:/data/models -v /home/serverflow/.cache/huggingface:/root/.cache/huggingface:ro swr.cn-south-1.myhuaweicloud.com/ascendhub/mindie:2.3.0-300I-Duo-py311-openeuler24.03-lts bash

docker exec -it qwen-mindie-hf bash

4.3 MindIE参数

4.3.1 需要编辑 mindie 配置文件

注意对应自己的显卡和模型

vim /usr/local/Ascend/mindie/latest/mindie-service/conf/config.json

4.3.2 编辑模型配置文件

只需更改一个设置，那就是华为 Atlas 300I Duo AI 加速器的操作——torch-dtype 参数需要从 bfloat16 改为 float16，因为不支持 BF16 模式。

vim /root/.cache/huggingface/hub/models--Qwen--Qwen3-8B/snapshots/b968826d9c46dd6066d109eabc6255188de91218/config.json

4.3.3 运行模型

cd /usr/local/Ascend/mindie/latest/mindie-service/bin

./mindieservice_daemon

5、部署openwebui

5.1 docker拉取

 docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.nju.edu.cn/open-webui/open-webui:main-slim

5.2 访问地址

http://192.168.137.66:3000

5.3 配置

注册管理员进行本地模型设置

5.4 对话测试

 

补充：模型通过魔塔社区下载，注意下载后的路径通过docker映射，配置文件模型位置也要做相应修改。