ModelArts部署紫东太初大模型推理服务经验分享
·
- 零、项目背景
- 需要在ModelArts上部署微调后的下游任务推理服务。
- 主要踩坑点：
- 一、环境准备
- MindSpore 1.6.1
- Docker 20.10.17
- 紫东太初模型代码
omni-perception-pretrainer: OPT（Omni-Perception Pre-Trainer）是全场景感知预训练模型的简称，中文名字叫紫东太初，是中科院自动化和华为联合研发的多模态预训练模型，本仓是紫东太初十亿参数级别模型的MindSpore版本代码，包含预训练模型及多个下游任务模型。 - ckpt权重文件
- ModelArts账号
- 二、模型转换
-
1.参照测试代码初始化模型并加载ckpt
-
2.使用MindSpore.export(net, *inputs, filename=“***”, file_format=“MINDIR”)导出MINDIR模型
模型格式：当前版本AIR和ONNX均有单网络2G的模型大小限制，目前采用MINDIR进行在线推理。（MINDIR对于超过2G的模型会自动进行切分）
-
- 三、编写推理服务代码
- 使用Flask部署服务，代码参考
https://gitee.com/HUAWEI-ASCEND/mindxsdk-mxfoundationmodel/tree/master/fm/reference/deploy - 模型推理部分代码
代码参考同上，需要注意在初始化的时候异步加载模型，避免ModelArts拉起服务时模型加载超时导致异常退出。
- 使用Flask部署服务，代码参考
- 四、制作推理服务镜像
- 参考同上
- 五、ModelArts镜像上传部署
- 步骤参考ModelArts文档，需要注意需在日志报Warm Up Success后才可正常使用服务，否则有可能超时或服务异常退出。
昇腾计算产业是基于昇腾系列（HUAWEI Ascend）处理器和基础软件构建的全栈 AI计算基础设施、行业应用及服务，https://devpress.csdn.net/organization/setting/general/146749包括昇腾系列处理器、系列硬件、CANN、AI计算框架、应用使能、开发工具链、管理运维工具、行业应用及服务等全产业链
更多推荐
0
0- 0
已为社区贡献262条内容
所有评论(0)