昇思训练营—模型LoRA微调
·
参数效率极高
全量微调需更新模型所有参数（如 1750 亿参数的 GPT-3），而 LoRA 仅需训练低秩矩阵（秩 r=16 时，参数量通常为原模型的 0.1%~1%），大幅降低内存和算力需求。
训练更稳定
冻结预训练权重避免了大规模参数更新导致的 “灾难性遗忘”（预训练知识丢失），且低秩矩阵初始化简单（B 初始为 0，训练初期接近原模型输出），收敛更快。
部署便捷
推理时可合并权重，保持原模型结构，无需修改推理框架；也可单独保存低秩矩阵（A 和 B），实现 “一个基模型 + 多个任务 LoRA 权重” 的轻量部署（如切换任务仅需加载对应 LoRA 参数）。
性能接近全量微调
在多数任务（如文本分类、生成、翻译）中，LoRA 微调的性能与全量微调相当，甚至在小数据集上更优（避免过拟合）。
昇腾计算产业是基于昇腾系列（HUAWEI Ascend）处理器和基础软件构建的全栈 AI计算基础设施、行业应用及服务，https://devpress.csdn.net/organization/setting/general/146749包括昇腾系列处理器、系列硬件、CANN、AI计算框架、应用使能、开发工具链、管理运维工具、行业应用及服务等全产业链
更多推荐
3
0- 0
已为社区贡献3条内容
所有评论(0)