几点提升pytorch性能的tips

偶然看到的，感觉有几点还是比较中肯的用distributionDataparallel代替Dataparallel;直接在GPU上create tensor,而不是用.cuda()；在使用Dataloader的时候设置num_workers和pin_memory,多线程加速和避免额外GPU缓存使用16bit精度(pytorch1.6之前需要有Nvidia apex支持)原文:7-tips-for-

Reza.

157人浏览 · 2021-04-27 12:51:23

Reza. · 2021-04-27 12:51:23 发布

偶然看到的，感觉有几点还是比较中肯的

用distributionDataparallel代替Dataparallel;
直接在GPU上create tensor,而不是用.cuda()；
在使用Dataloader的时候设置num_workers和pin_memory,多线程加速和避免额外GPU缓存
使用16bit精度(pytorch1.6之前需要有Nvidia apex支持)

原文:
7-tips-for-squeezing-maximum-performance-from-pytorch

昇腾开源生态专区

昇腾计算产业是基于昇腾系列（HUAWEI Ascend）处理器和基础软件构建的全栈 AI计算基础设施、行业应用及服务，https://devpress.csdn.net/organization/setting/general/146749包括昇腾系列处理器、系列硬件、CANN、AI计算框架、应用使能、开发工具链、管理运维工具、行业应用及服务等全产业链

更多推荐