系统环境

硬件环境(Ascend/GPU/CPU): Ascend

MindSpore版本: 2.2

执行模式(PyNative/ Graph): 不限

报错信息

2.1 问题描述

MindSpore模型Pipeline并行发现有些卡的log中loss为0

根因分析

       该情况下可能不是问题,pipeline并行需要查看最后一张卡的loss,其余卡的loss均为0。

Logo

昇腾计算产业是基于昇腾系列(HUAWEI Ascend)处理器和基础软件构建的全栈 AI计算基础设施、行业应用及服务,https://devpress.csdn.net/organization/setting/general/146749包括昇腾系列处理器、系列硬件、CANN、AI计算框架、应用使能、开发工具链、管理运维工具、行业应用及服务等全产业链

更多推荐