作者：昇腾实战派
知识地图：https://blog.csdn.net/Lumos_Lovegood/article/details/161601003

背景概述

在昇腾大集群（SuperPoD）上进行 HCCL 集合通信测试前，完备的环境检查是保证多节点通信正常、测试结果可复现的前提。本文整理了在昇腾A3设备上进行集合通信测试前所需的环境检查项，覆盖 CANN/HDK 版本一致性、链路状态与连通性、安全与进程占用等检查内容，并提供相应命令，为集群环境准备提供参考。

集合通信测试前环境检查项

1、CANN版本一致：所有设备该命令回显结果完全一致

cat /usr/local/Ascend/ascend-toolkit/latest/aarch64-linux/ascend_toolkit_install.info

2、HDK版本一致：所有设备该命令中Firmware Version一致

npu-smi info -t board -i 0 -c 0

3、mpich工具版本一致：所有设备结果一致

mpirun --version | grep Version

4、hccs链路状态检查：所有设备vnic link status为UP

for i in {0..15}; do hccn_tool -i $i -vnic -g ; done

5、hccs链路连通性检查：所有设备ping首节点vnic ip，结果为3 packets transmitted, 3 received, 0.00% packets loss

for i in {0..15}; do hccn_tool -i $i -hccs_ping -g address <IP1> | grep 'packets loss'; done

for i in {0..15}; do hccn_tool -i $i -hccs_ping -g address <IP2> | grep 'packets loss'; done

IP1 和 IP2 分别为首节点 die0、die1 的 vnic ip，通过 for i in {0…15}; do hccn_tool -i $i -vnic -g ;done 查询。

6、roce链路状态检查：所有设备link status为UP（跨超节点打流时涉及）

for i in {0..15}; do hccn_tool -i $i -link -g ; done

7、roce链路连通性检查：所有设备ping首节点device ip，结果为3 packets transmitted, 3 received, 0.00% packet loss（跨超节点打流时涉及）

for i in {0..15}; do hccn_tool -i $i -ping -g address <IP3> | grep 'packet loss'; done

for i in {0..15}; do hccn_tool -i $i -ping -g address <IP4> | grep 'packet loss'; done

IP3 和 IP4 分别为首节点 die0、die1 的 device ip，通过 for i in {0…1}; do hccn_tool -i $i -ip -g;done 查询。

8、tls状态检查：所有设备回显结果包含tls switch[0]

for i in {0..15}; do hccn_tool -i $i -tls -g ; done | grep switch

若不一致通过 for i in {0…15}; do hccn_tool -i $i -tls -s enable 0;done 关闭 tls。

9、关闭防火墙

systemctl stop firewalld

10、集群免密：首节点上免密登录到其他节点

11、是否有进程占用：npu-smi info观察到无进程占用

12、400G网口是否down：登录环境对应的L1交换机

dis int b