学习目标

  • 了解模型推理过程如何进行数据传输
  • 了解模型推理步骤及代码逻辑
  • 掌握模型转换工具的使用方法及常用参数意义
  • 了解AIPP并掌握AIPP的使用方法

学习资源

内存管理 （AscendCL内存管理&数据传输） 课程链接 文档链接
模型推理 （AscendCL模型加载与执行） 课程链接 文档链接

直播课

模型离线推理总体说明

在这里插入图片描述

Host&Device内存管理与数据传输

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

模型推理-模型管理

在这里插入图片描述

模型推理-输入输出准备

在这里插入图片描述
在这里插入图片描述

模型推理-模型执行

在这里插入图片描述

参考样例

在这里插入图片描述

# 人工智能 # 自然语言处理 # 深度学习
Logo
昇腾开源生态专区

昇腾计算产业是基于昇腾系列（HUAWEI Ascend）处理器和基础软件构建的全栈 AI计算基础设施、行业应用及服务，https://devpress.csdn.net/organization/setting/general/146749包括昇腾系列处理器、系列硬件、CANN、AI计算框架、应用使能、开发工具链、管理运维工具、行业应用及服务等全产业链

更多推荐

cover

DeepSeek 崩了 13 小时，不是故障，是 V4 在换引擎

avatar 昇腾开源生态专区

体系结构论文（107）：AscendOptimizer: Episodic Agent for Ascend NPU Operator Optimization

摘要：本文提出AscendOptimizer系统，针对华为Ascend NPU的AscendC算子优化难题，通过双阶段交替优化方法实现性能提升。系统将算子拆分为host侧tiling program和device侧kernel program：Stage I采用进化搜索优化tiling策略，利用硬件反馈探索可行解空间；Stage II通过"优化回退"机制从优质kernel反向构

avatar 昇腾开源生态专区

【GPT-4级模型轻量化权威指南】：基于华为昇腾+NVIDIA Triton的混合剪枝框架，推理延迟直降63%

面向大模型工程化中的模型剪枝技术，提供可落地的轻量化方案。基于华为昇腾+NVIDIA Triton构建混合剪枝框架，支持LLM推理加速，在A100/Ascend 910场景下延迟直降63%。涵盖结构化剪枝、知识蒸馏与动态稀疏推理，兼顾精度与吞吐。值得收藏

avatar 昇腾开源生态专区