ModelArts上传训练图片数据集过慢的问题

skytier

394人浏览 · 2021-07-28 10:16:45

skytier · 2021-07-28 10:16:45 发布

转载地址：https://bbs.huaweicloud.com/forum/thread-113020-1-1.html

作者：Mr.Yu

在ModelArts上训练模型时，需要将数据从OBS上上传到cache中使用，数据集过大时耗时很长。
可以将数据打包，传输，然后在cache路径下os命令解压，并用于后续访问。

针对modelzoo中的train.py可以在之前添加如下几行：

import os

import moxing as mox

data_url = 'obs://hit-yw/datazip/'

local_data_url = './cache/'

data_name = 'data.zip'

mox.file.copy_parallel(data_url, local_data_url)

zip_command = "unzip -o %s -d %s" % (local_data_url+data_name ,local_data_url)

os.system(zip_command)

img=cv.imread(local_data_url+'train.jpg')

data_url 设置你自己OBS桶中的数据压缩包的位置。
local_data_url 设置训练时运行环境中的数据存储cache路径。
os.system("unzip image_data.zip") 利用系统unzip命令解压你的训练数据压缩包。
imread读取使用你的训练图片。

训练集过大时，可以减少数据传输耗费的时间。

昇腾开源生态专区

昇腾计算产业是基于昇腾系列（HUAWEI Ascend）处理器和基础软件构建的全栈 AI计算基础设施、行业应用及服务，https://devpress.csdn.net/organization/setting/general/146749包括昇腾系列处理器、系列硬件、CANN、AI计算框架、应用使能、开发工具链、管理运维工具、行业应用及服务等全产业链

更多推荐

DeepSeek 崩了 13 小时，不是故障，是 V4 在换引擎

昇腾开源生态专区

体系结构论文（107）：AscendOptimizer: Episodic Agent for Ascend NPU Operator Optimization

摘要：本文提出AscendOptimizer系统，针对华为Ascend NPU的AscendC算子优化难题，通过双阶段交替优化方法实现性能提升。系统将算子拆分为host侧tiling program和device侧kernel program：Stage I采用进化搜索优化tiling策略，利用硬件反馈探索可行解空间；Stage II通过"优化回退"机制从优质kernel反向构