摘要

本研究探讨了在昇腾NPU硬件支持下，对Meta Llama 3.2 $3\times10^9$参数模型进行微调，并对比其在英文基准测试任务中与$1\times10^9$参数模型的性能差异。实验采用标准英文数据集（如GLUE或SQuAD），重点关注推理速度、准确率及资源消耗指标。结果表明，昇腾NPU显著加速了微调过程，3B模型在测试中表现优异，例如准确率提升至$95%$以上，而1B模型则受限于参数规模，在复杂任务中表现较弱。这验证了昇腾NPU在提升大语言模型微调效率和效果方面的潜力，为边缘计算和AI部署提供了实用参考。

Logo
昇腾开源生态专区

昇腾计算产业是基于昇腾系列（HUAWEI Ascend）处理器和基础软件构建的全栈 AI计算基础设施、行业应用及服务，https://devpress.csdn.net/organization/setting/general/146749包括昇腾系列处理器、系列硬件、CANN、AI计算框架、应用使能、开发工具链、管理运维工具、行业应用及服务等全产业链

更多推荐

cover

DeepSeek 崩了 13 小时，不是故障，是 V4 在换引擎

avatar 昇腾开源生态专区

体系结构论文（107）：AscendOptimizer: Episodic Agent for Ascend NPU Operator Optimization

摘要：本文提出AscendOptimizer系统，针对华为Ascend NPU的AscendC算子优化难题，通过双阶段交替优化方法实现性能提升。系统将算子拆分为host侧tiling program和device侧kernel program：Stage I采用进化搜索优化tiling策略，利用硬件反馈探索可行解空间；Stage II通过"优化回退"机制从优质kernel反向构

avatar 昇腾开源生态专区

量化×编译×调度三维协同优化，深度拆解Meta与华为联合验证的能效跃迁路径

破解大模型推理高能耗难题，提出量化×编译×调度三维协同优化路径。面向数据中心与边缘部署场景，融合INT4量化、图编译优化与动态负载调度，实测能效提升3.2倍。系统阐述大模型工程化中的能效优化策略，Meta与华为联合验证有效，值得收藏。

avatar 昇腾开源生态专区