问题描述

我们希望将 mindspore serving 部署在 Atlas200 开发板的 docker 环境下,找了很多资料,没有发现类似的文章和指导手册,希望官方能给予一些指导,我们自己跑起来。

  • docker 已经在 ubuntu 下跑起来了;
  • 如何制作一个 mindspore serving 的基础 docker image?
  • 如何映射宿主主机上的 ascend 设备驱动到容器里,以便驱动推理?
  • 我们只希望一个基础的可运行的 image,推理算法和模型我们会通过 volume 的方式映射进去,这样可以实现解耦和复用。

解答方案

使用MindSpore框架,在此设备中支持在线推理。您可以在官网www.mindspore.cn教程文档中搜索使用方法。

总学习地图:https://www.mindspore.cn/resources/knowledgeMap

1. 迁移模型到MindSpore框架 https://www.mindspore.cn/docs/zh-CN/r2.3.0/migration_guide/overview.html

2. 训练模型得到mindir。

3. 如果是在200DK上进行训练的,可以直接推理;其他昇腾设备训练的模型,可以把模型权重导入到200DK进行在线、离线推理。离线推理开发

训练推理参考文档 https://www.mindspore.cn/docs/zh-CN/r2.3.0/migration_guide/model_development/training_and_evaluation.html

Logo

昇腾计算产业是基于昇腾系列(HUAWEI Ascend)处理器和基础软件构建的全栈 AI计算基础设施、行业应用及服务,https://devpress.csdn.net/organization/setting/general/146749包括昇腾系列处理器、系列硬件、CANN、AI计算框架、应用使能、开发工具链、管理运维工具、行业应用及服务等全产业链

更多推荐