8.9 算子The operator ‘aten::isin. Tensor_Tensor_out’ is not currently supported on the NPU

backend and will fall back to run on the CPU. This may have performance implications. (function npu_cpu_fallback)
Exception in thread Thread-5:
在这里插入图片描述
原模型直接推理可以跑起来，但是回答问题的时候它没法用npu，还要迁移到CPU计算，这个过程可能需要花费数小时，官方解释如下：
在这里插入图片描述

# 人工智能
Logo
昇腾开源生态专区

昇腾计算产业是基于昇腾系列（HUAWEI Ascend）处理器和基础软件构建的全栈 AI计算基础设施、行业应用及服务，https://devpress.csdn.net/organization/setting/general/146749包括昇腾系列处理器、系列硬件、CANN、AI计算框架、应用使能、开发工具链、管理运维工具、行业应用及服务等全产业链

更多推荐

cover

DeepSeek 崩了 13 小时，不是故障，是 V4 在换引擎

avatar 昇腾开源生态专区

体系结构论文（107）：AscendOptimizer: Episodic Agent for Ascend NPU Operator Optimization

摘要：本文提出AscendOptimizer系统，针对华为Ascend NPU的AscendC算子优化难题，通过双阶段交替优化方法实现性能提升。系统将算子拆分为host侧tiling program和device侧kernel program：Stage I采用进化搜索优化tiling策略，利用硬件反馈探索可行解空间；Stage II通过"优化回退"机制从优质kernel反向构

avatar 昇腾开源生态专区

量化×编译×调度三维协同优化，深度拆解Meta与华为联合验证的能效跃迁路径

破解大模型推理高能耗难题，提出量化×编译×调度三维协同优化路径。面向数据中心与边缘部署场景，融合INT4量化、图编译优化与动态负载调度，实测能效提升3.2倍。系统阐述大模型工程化中的能效优化策略，Meta与华为联合验证有效，值得收藏。

avatar 昇腾开源生态专区