MindIE PD分离部署Q&A
PD分离是一种近年来兴起的推理加速部署方案，kimi、deepseek都进行了工程落地。昇腾MindIE组件也支持了PD分离部署能力，参考链接为。部署过程中会出现一些问题，在这里记录分享一下。Q：运行deploy.sh 报错 core dumpA：大概率是选择了错误了 镜像，例如A2的机器使用了A3的镜像。Q：运行deploy.sh 后，pods的状态为UnexpectedAdmissionErr
PD分离是一种近年来兴起的推理加速部署方案，kimi、deepseek都进行了工程落地。昇腾MindIE组件也支持了PD分离部署能力，参考链接为 昇腾社区官网-昇腾万里 让智能无所不及 。部署过程中会出现一些问题，在这里记录分享一下。
单机部署
Q：运行deploy.sh 报错 core dump
A：大概率是选择了错误了 镜像，例如A2的机器使用了A3的镜像。
Q：运行deploy.sh 后，pods的状态为UnexpectedAdmissionError
A：mindie_service_single_container.yaml配置文件中，resources/requests/huawei.com/Ascend910的值目前只能为8，小于8会触发报错。
多机部署
Q：运行deploy.sh 后，coordinator一直显示not ready
A：可能是没有配置正确的rank_table_file，导致P、D节点没有拿到device信息，不能载入模型，解决方案参考 https://zhuanlan.zhihu.com/p/1900192566378497634 。
Q：拉起k8s失败，输出 kubectl get configmap rings-config-mindie-server-p0...
A：可能是之前的进程没有删除干净；deployment目录下面的yaml文件的配置可能需要修改，如果是单机16卡，则npu的卡数需要改成16；可以查看 /var/log/mindx-dl/ascend-operator的日志，检查是否有json文件的格式错误。
参数配置建议
使用benchmark工具发送请求。
llama3-8B
| 卡数 | 输入输出 | concurrency | 发送频率 | prefill_bs | decode_bs | |
|---|---|---|---|---|---|---|
| PD混部 | 1 | 257-60 | 7 | 10 | 100 | |
| PD分离 | 2+3 | 257-60 | 1000 | 93 | 2 | 18 |
昇腾计算产业是基于昇腾系列（HUAWEI Ascend）处理器和基础软件构建的全栈 AI计算基础设施、行业应用及服务，https://devpress.csdn.net/organization/setting/general/146749包括昇腾系列处理器、系列硬件、CANN、AI计算框架、应用使能、开发工具链、管理运维工具、行业应用及服务等全产业链
更多推荐
5
0- 0
已为社区贡献15条内容
所有评论(0)