[ModelArts]训练作业中踩坑记录

skytier

846人浏览 · 2021-07-26 15:09:42

skytier · 2021-07-26 15:09:42 发布

转载地址：https://bbs.huaweicloud.com/forum/thread-76026-1-1.html

作者：芳菲菲兮满堂

本帖主要是在训练营三期教程yolov3训练中的遇到的问题记录，针对modelzoo中的train.py主要修改集中如下几行：

import moxing as mox

local_data_url = '/cache/data'

local_train_url = '/cache/train_url'

device_id = int(os.getenv("DEVICE_ID"))

mox.file.copy_parallel(args_opt.data_url, local_data_url)

local_data_url 设置训练时运行环境中的数据存储路径

local_train_url是设置训练过程中检查点所存储的路径

device_id指定集中设备的设备，这里一定要加int强制转换，否则训练会出错。

在设置训练作业时设置的data_url为你自己obs存储路径为了减少数据建传输耗费的时间，需要使用moxing模块将obs中的数据拷贝到训练作业的本地存储中（具体参考https://support.huaweicloud.com/bestpractice-modelarts/modelarts_10_0017.html）所以需要调用copy_parallel方法进行数据拷贝，modelarts新用户可能会忽略的地方

最后还有一个sink选项，默认是开启的，我在训练过程中会报错，将sink模式设置false 训练得已继续运行，具体原因貌似是sink模式有个什么限制，具体我还在研究中，有知道的童鞋可以为我答疑解惑一番小生在此拜谢

昇腾开源生态专区

昇腾计算产业是基于昇腾系列（HUAWEI Ascend）处理器和基础软件构建的全栈 AI计算基础设施、行业应用及服务，https://devpress.csdn.net/organization/setting/general/146749包括昇腾系列处理器、系列硬件、CANN、AI计算框架、应用使能、开发工具链、管理运维工具、行业应用及服务等全产业链

更多推荐

DeepSeek 崩了 13 小时，不是故障，是 V4 在换引擎

昇腾开源生态专区

体系结构论文（107）：AscendOptimizer: Episodic Agent for Ascend NPU Operator Optimization

摘要：本文提出AscendOptimizer系统，针对华为Ascend NPU的AscendC算子优化难题，通过双阶段交替优化方法实现性能提升。系统将算子拆分为host侧tiling program和device侧kernel program：Stage I采用进化搜索优化tiling策略，利用硬件反馈探索可行解空间；Stage II通过"优化回退"机制从优质kernel反向构