踩坑总结

1. Docker容器权限与进程管理坑

• 必须加 --privileged 参数：否则容器里根本访问不到NPU设备，启动就报错。
• 僵尸进程：不加 --init 的话，推理服务退出后，进程回收不了，直接导致后续推理服务启动失败，只能手动杀进程或重启容器服务。

2. 动态库找不到：libcsec.so: not found
容器中进行推理会出现libcsec.so找不到的情况，需要手动设置 LD_LIBRARY_PATH 或写入 /etc/ld.so.conf.d/

3. 容器秒退
官方镜像没有前台进程，docker run -d 启动后立刻退出，要么临时用 tail -f /dev/null 占位，或者自己封装启动脚本。

4. CANN高版本问题
服务器的NPU驱动和CANN的高版本不一定匹配，如果安装高版本CANN会导致系统内核版本和NPU驱动版本不匹配，导致NPU无法识别

5. 接口兼容问题：
vllm兼容OpenAI的推理接口/v1/completions，即使参数配置正确，也会提示“Messages token length must be in (0, 1048576], but got 0”错误。解决方案是切换为兼容TGI 0.9.4版本接口的/generate接口。

还有一些其他的问题，比如
1 . 配置不可见、不可改：所有配置文件深藏容器内，修改需重建镜像或 exec 进入。
2 . 服务启动繁琐：每次都要手动激活 CANN 环境、设置变量。
3 . 缺乏可视化测试工具：只能靠 curl 调试。
4 . 部署流程不透明：日志分散，错误信息难定位。

踩坑踩多了，人也麻了。加上后面要交给客户用，总不能每次都让人家开终端敲命令。
于是写了个纯 Web 界面的 MindIE 小助手。

仓库地址：https://github.com/jclown/MyMindIEWebConsole

1 可视化参数配置

2 模型管理和部署

3 对话测试界面

4 日志监测