宿主机环境信息

操作过程

0.下载镜像资源

镜像资源[RED HAT]：quay.io/ascend/vllm-ascend:main

# 拉取指定路径的镜像
docker pull quay.io/ascend/vllm-ascend:main

1. 环境检查

• 确认本地已有镜像 quay.io/ascend/vllm-ascend:main（约 24.9GB）
• 通过 ls /dev/davinci* 确认宿主机存在 8 张 NPU 设备（davinci0 ~ davinci7）
• 通过 npu-smi info 确认 8 张 910B2 卡均在线，驱动版本 25.0.rc1.2

2. 创建容器（特权模式）

注意，一定要添加 --privileged 参数。只有在特权模式下，才能在容器内使用宿主机NPU。

可以利用-v挂载宿主机的工作目录或者软件目录到容器内，确保容器内可以使用宿主机的资源。

docker run -d \\\\
  --name vllm-ascend \\\\
  --restart unless-stopped \\\\
  --privileged \\\\
  --network host \\\\
  --shm-size 16g \\\\
  --device /dev/davinci0 \\\\
  --device /dev/davinci1 \\\\
  --device /dev/davinci2 \\\\
  --device /dev/davinci3 \\\\
  --device /dev/davinci4 \\\\
  --device /dev/davinci5 \\\\
  --device /dev/davinci6 \\\\
  --device /dev/davinci7 \\\\
  --device /dev/davinci_manager \\\\
  --device /dev/devmm_svm \\\\
  --device /dev/hisi_hdc \\\\
  -v /usr/local/dcmi:/usr/local/dcmi \\\\
  -v /usr/local/bin/npu-smi:/usr/local/bin/npu-smi \\\\
  -v /usr/local/Ascend/driver:/usr/local/Ascend/driver \\\\
  -v /etc/ascend_install.info:/etc/ascend_install.info:ro \\\\
  quay.io/ascend/vllm-ascend:main \\\\
  bash -c "while true; do sleep 3600; done"

关键参数说明

踩坑记录

昇腾 NPU 在非特权容器中会出现 drvRetCode=87（driver error: internal error），原因是昇腾驱动需要额外的内核权限（如访问特定的 /sys 和 /proc 路径）。解决方案是添加 --privileged 参数。

日常使用

# 进入容器
docker exec -it vllm-ascend bash

# 查看 NPU 状态
npu-smi info

# 验证 PyTorch NPU
python3 -c "import torch; import torch_npu; print(torch.npu.is_available())"