在昇腾310P推理服务器上安装CANN和PyTorch
本文记录了在昇腾310P3服务器上使用Conda安装CANN工具包的实验过程。首先通过npu-smiinfo确认NPU型号,然后创建Python3.10的Conda虚拟环境。参考华为昇腾官网指引,通过conda安装cann-toolkit和cann-310p-ops 8.5.0版本。由于系统路径特殊,需要调整set_env.sh路径后验证安装成功。最后提到计划后续尝试在310P3上手动安装PyTo
之前一直没怎么用过昇腾这套架构,今天简单试一下。首先,在一个比较新的服务器上,运行:
npu-smi info
可以看到NPU型号是310P3。我想试试能否用Conda安装(在Nvidia平台上用得最多就是Conda环境了,和CUDA版本配合得很好),所以运行:
conda env list
发现这台服务器已经安装了Conda,那么想通过Conda试试(就像Conda+CUDA那样):
conda create -n SGLang python=3.10
(由于我主要想试试SGLang,所以对应起了这个环境的名字)
之后进入到这个虚拟环境,开始安装CANN(也不知道之前别人有没有装),参考这里:
https://www.hiascend.com/cann/download
这个页面分得比较细,包括昇腾的A3、A2、推理系列等等。如果不清楚NPU型号,可以按照页面上的提示再检查一下。然后按照页面上的步骤安装即可:
#conda所在目录需有755权限
conda config --add channels https://repo.huaweicloud.com/ascend/repos/conda/
conda install ascend::cann-toolkit==8.5.0
conda install ascend::cann-310p-ops==8.5.0
这个是比较简单的,简单讲讲怎么判断是否安装好:
上面这个网页写的是这样:
软件包的默认安装路径为所在Conda虚拟环境的Ascend目录下,例如base环境为/home/miniconda3/Ascend
source /home/miniconda3/Ascend/cann/set_env.sh python3 -c "import acl;print(acl.get_soc_name())"若返回芯片型号,则安装成功
但是我用的这个操作系统比较奇葩,如果用conda env list,看到的安装目录是:
SGLang * /opt/miniconda/envs/SGLang
所以这就需要我们把上面的Source命令改一下:
source /opt/miniconda/envs/SGLang/Ascend/cann/set_env.sh
然后再运行:
python3 -c "import acl;print(acl.get_soc_name())"
可以看到这时候系统返回:
Ascend310P3
这就说明在这个conda环境下,CANN 8.5.0版本就安装好了。
先简单总结这么多,由于之前没用过,所以写得比较基础,后面准备再总结一下安装PyTorch和SGLang。也是因为发现SGLang给的网页例子里,一些新的大模型是没有310P对应的镜像的,例如这里的例子:
https://docs.sglang.io/platforms/ascend_npu_qwen3_5_examples.html
所以想试试手动是否能跑SGLang。
昇腾计算产业是基于昇腾系列(HUAWEI Ascend)处理器和基础软件构建的全栈 AI计算基础设施、行业应用及服务,https://devpress.csdn.net/organization/setting/general/146749包括昇腾系列处理器、系列硬件、CANN、AI计算框架、应用使能、开发工具链、管理运维工具、行业应用及服务等全产业链
更多推荐

所有评论(0)