前言

  • 本文重点介绍Paddle与NPU的适配工作，PaddlePaddle是一个深度学习框架，类似于pytorch；PaddleCustomDeviece是适配层代码，类似于pytorch adapter；模型侧代码根据领域分为PaddleNLP、PaddleMix、PaddleClas、PaddleOCR等。
  • 如果需要运行在线的训练或者推理，可以直接参考模型仓的README，并更改deviece为NPU即可。当前已经支持了大部分主流模型且在持续增加中，具体的模型列表可参照飞桨-昇腾模型支持列表，大部分模型的性能基本持平V100，少部分专项调优模型可以达到0.8*A800（主要是大模型，多模态）。
  • 如果在线推理性能较差且只需要推理的场景，统一建议使用离线场景，Paddle2ONNX工具转化为ONNX，并使用atc转换为OM，具体可参照Paddle转OM以及离线推理章节内容。

硬件适配说明

  • 当前的适配工作主要针对A2芯片，以下所有内容如果没有特殊说明都只针对A2芯片；
  • A1芯片在大部分情况下没有问题，且使用方式与A2相同，如遇到类似项目可自行使用相同方式进行验证，遇到问题单点支撑；
  • 310系列芯片没有进行过适配，建议直接走离线推理路径。

常用Paddle模型仓

  • NLP代码仓PaddleNLP：https://github.com/PaddlePaddle/PaddleNLP
  • 多模态代码仓PaddleMIX：https://github.com/PaddlePaddle/PaddleMIX
  • 小模型总体仓库PaddleX：https://github.com/PaddlePaddle/PaddleX
  • 其余仓库可查看Paddle主页面：https://github.com/PaddlePaddle

整体方案概览

# paddlepaddle # 人工智能
Logo
昇腾开源生态专区

昇腾计算产业是基于昇腾系列（HUAWEI Ascend）处理器和基础软件构建的全栈 AI计算基础设施、行业应用及服务，https://devpress.csdn.net/organization/setting/general/146749包括昇腾系列处理器、系列硬件、CANN、AI计算框架、应用使能、开发工具链、管理运维工具、行业应用及服务等全产业链

更多推荐

cover

DeepSeek 崩了 13 小时，不是故障，是 V4 在换引擎

avatar 昇腾开源生态专区

体系结构论文（107）：AscendOptimizer: Episodic Agent for Ascend NPU Operator Optimization

摘要：本文提出AscendOptimizer系统，针对华为Ascend NPU的AscendC算子优化难题，通过双阶段交替优化方法实现性能提升。系统将算子拆分为host侧tiling program和device侧kernel program：Stage I采用进化搜索优化tiling策略，利用硬件反馈探索可行解空间；Stage II通过"优化回退"机制从优质kernel反向构

avatar 昇腾开源生态专区

AtomGit模型托管与实验管理全指南

AtomGit模型托管指南：AI开发者的版本控制利器 摘要：本文介绍AtomGit平台针对AI开发者推出的模型托管与实验管理功能，解决传统Git无法有效管理大模型文件、实验参数分散等问题。AtomGit通过Git LFS大文件存储、模型卡片元数据记录、代码与模型版本关联等创新功能，实现AI项目的一体化管理。文章详细演示了如何创建模型仓库、配置Git LFS管理大文件、编写结构化模型卡片，并特别介绍

avatar 昇腾开源生态专区