登录社区云,与社区用户共同成长
邀请您加入社区
本文详细介绍了如何在昇腾NPU环境下使用MindSpeed MM套件高效微调Qwen2.5-VL多模态模型。通过实战案例,分享了环境配置、权重转换、数据处理、微调参数调优等关键步骤,帮助开发者提升多模态模型训练效率,显著优化性能指标。
本文详细介绍了如何利用香橙派AIpro和OpenVINO/ONNX实战部署自定义AI模型的全流程。从模型转换、环境配置到推理优化和完整应用构建,提供了实用的代码示例和优化策略,帮助开发者充分发挥昇腾芯片的16TOPS算力,实现高效的边缘AI部署。
本文详细记录了从NVIDIA A100迁移到昇腾910B平台部署Qwen-7B大模型的实战经验,通过vLLM-ascend优化实现吞吐量提升275%。文章涵盖硬件对比、环境配置、参数调优等关键步骤,并分享NPU专属的性能优化技巧,为AI推理迁移提供实用指南。
本文深入探讨了昇腾CANN的DVPP硬件加速技术在视频流实时预处理中的应用。通过多路视频流处理的架构设计、内存管理和并发处理优化,DVPP显著提升了视频预处理效率,适用于安防监控、工业质检等实时性要求高的场景。文章还分享了性能调优和工业部署的实用技巧,帮助开发者充分发挥硬件加速潜力。
本文深入解析昇腾MindStudio IDE的高效开发工具链,涵盖模型转换、可视化调试等核心功能。通过图形化界面简化ATC命令操作,提供模型可视化、日志分析等实用工具,显著提升昇腾AI开发效率。特别适合需要快速部署和优化AI模型的开发者使用。
近日,华为云开发者日·2023年度创享峰会在京成功举办。作为开发者生态系列活动的年度收官之作,峰会现场600余名开发者与华为云、鲲鹏、昇腾等领域技术专家齐聚一堂,共话人工智能产业的发展现状与前沿洞察。
【摘要】 Atlas 200 DK安装python的hiai库以及opencv【昇腾】开发板上安装python的hiai库和opencv库Matrix是已经支持phthon接口了,但是发现目前python的hiai库并没有自动安装,需要自己安装;话不多说下面是安装步骤:步骤1. 开发板联网,如果已联网则跳过该步骤;否则请参考以下链接配置开发板联网(https...
这意味着,复杂的感知和决策由香橙派负责,而控制电机、读取编码器这些对实时性要求极高的任务,交给单片机去干,各取所长,配合得天衣无缝。一块千元级的开发板,一套开源软件栈,一个普通开发者花几个月时间,就能搭建出一个能听、能看、能动的机器人原型。从能帮你拿快递的服务机器人,到能在工厂里灵活装配的机械臂,人们不满足于AI只会聊天——我们想要的是能看、能听、能行动的智能体,也就是具身智能机器人。这恰恰是大模
Dify作为LLM应用编排平台,不直接依赖GPU算力,可通过标准接口对接华为昇腾、寒武纪等国产推理后端。实测表明,只要国产芯片提供兼容API,Dify即可无缝调用,无需修改镜像。关键挑战在于模型转换完整性、网络延迟与运维工具链适配,但均可通过架构优化和流程自动化解决。实际项目已验证其在信创环境下的可行性。
2026年Q1可以称得上是龙虾季,开年以来龙虾在全球的火爆程度不必多言。OpenClaw作为一个灵活的边缘AI框架,其部署及使用效果高度依赖于底层硬件的AI算力、内存带宽以及部署方式,选对硬件、部署得当可以让龙虾“钳”力十足。用户其实不必非得选择性能配置单一、与windows操作习惯迥异、综合性价比不太高还经常缺货的Mac mini,还有更多针对不同需求的高性价比选择,比如香橙派。香橙派Orang
8月28日,华为常务董事、华为云计算CEO张平安在中国国际大数据产业博览会开幕式上表示,华为云将坚定不移地打造算力黑土地,充分发挥公司多年积累的联接技术优势和数据中心资源布局,以优的性能、好的服务、低的成本,通过昇腾AI云服务和Tokens服务满足客户的“最终计算结果”,加速行业智能跃迁。
本文对比评测了799元香橙派AIpro与3000元Jetson开发板的AI性能,重点测试了8TOPS算力在目标检测、语音交互和机械臂控制等场景的实际表现。香橙派AIpro搭载昇腾AI芯片,展现出优异的能效比和性价比,适合预算有限的创客和学生群体进行AI项目开发。
最近发现在开发板上跑python的需求比较旺盛,但是在开发板上装python开发环境(需要装一堆依赖)并不是一件容易的事情,特别是网速不行的时候,再加上换源等各种操作,还是比较烦的,所以就干脆抽了一个下午弄了个python环境离线安装包,授人以鱼不如授人以渔,将制作离线安装包的方法分享给大家,该方法应该不止适用于开发板,其他地方也可以借鉴。ubuntu下的安装包,无非就是apt安装的...
【摘要】 为Atlas200DK配置wifi外挂模块【昇腾】当你手中有一块Huawei Atlas 200 DK时,那么恭喜你,你拥有了一个可以让你的AI应用落地的利器,但由于开发板并没有wifi模块,导致使用上不够灵活,经过我们多方尝试,终于找到一个廉价并且简单的为开发板配置wifi外挂模块的方法,分享给大家。【所需硬件】ws331a (为了尽量轻便,找了一款华为min...
手把手带你用CANNBot从0到1生成第一个昇腾算子。从环境搭建到算子运行,全程Agent驱动:自动设计方案、编写代码、审查质量,最终输出包含Kernel和Tiling的可编译的算子代码,让Ascend C算子开发触手可及。
使用Ascendc低阶API写了一个初版的matmul算子(无db),发现(128,65)@(65,256)的case出现报错,(128,128)@(128,256)的case出现精度问题。低阶API实现的matmul算子如下:
本文介绍了基于Ascend NPU的Kimi-K2.5-W4A8大模型分布式部署方案。采用两台配备910B显卡(64G*8)的服务器,通过vllm-ascend容器部署。详细说明了模型下载、镜像配置、docker-compose.yml文件编写和启动脚本设置,包括网络配置、环境变量调整等关键参数。部署完成后可通过8004端口进行推理验证,并提供了多模态测试脚本示例,支持文本和图像输入。该方案实现了
直播时间2026年3月4日19:00 - 18:00B站/微信视频号搜索【昇腾CANN】观看直播,期待你的观看~点击连接获取往期直播材料:https://gitcode.com/cann/community/tree/master/events/meetup/slides
在强化学习场景下存在多个不同的任务阶段,其内存变化比较大,可以使用 PyTorch Profiler 中的 profile_memory 数据或者 Snapshot 数据来分析内存使用,特别是 Snapshot,其可以查看内存使用细节,在深入分析时非常有用。
摘要: vLLM-Ascend是针对昇腾NPU优化的高性能推理框架,集成Ascend PyTorch Profiler性能分析工具,支持全栈性能数据采集。通过环境变量或API控制Profiling开关,开发者可采集PyTorch算子、CANN软件栈及NPU硬件层的执行数据,支持离线推理、在线服务及性能基准测试场景。框架提供灵活的配置参数,包括采集级别(Level0-Level2)、AI Core指
在昇腾AI处理器的分布式训练场景中,HCCL(Huawei Collective Communication Library)作为集合通信库,承担着设备间数据通信的关键任务。在实际应用过程中,我们可能会遇到各种通信异常问题。本文系统梳理了HCCL常见问题的定位思路和解决方案。
本文对比了Qwen3-30B-A3B和QwQ-32B两款模型在参数规模、性能表现、适用场景及适配优化方面的差异。Qwen3-30B-A3B以低激活参数实现高效推理,适合对速度和成本敏感的场景;而QwQ-32B在复杂推理任务中表现优异,但计算资源消耗较高。两款模型均已适配国产芯片(鲲鹏昇腾),用户可根据具体需求选择:Qwen3-30B-A3B适合综合效率与成本控制,QwQ-32B则更适合复杂推理任务
直播时间2026年3月6日19:00 - 18:00B站/微信视频号搜索【昇腾CANN】观看直播,期待你的观看~点击连接获取往期直播材料:https://gitcode.com/cann/community/tree/master/events/meetup/slides
直播回放链接:PyPTO:Hello, World!_哔哩哔哩_bilibili
以目前一体机市场份额最多的华为为例,其已进一步升级昇腾一体机的产品,通过分级分档来适配不同模型、场景的需求,兼具“快速部署”与“成本可控“,以满足不同行业业务逻辑、风险特征和监管环境的细分需求。例如,具身智能场景涉及到大小脑场景的开发,不仅需要算力支撑,还需要从基座模型、RL框架到工具链的全面支持,更对于成本较为敏感。同时,对于技术供给侧而言,目前业界逐渐形成共识:根据不同场景的核心指标、硬件形态
本文介绍了智谱GLM4.5/GLM4.6模型的推理性能优化方法,重点提供量化权重导出方案。首先需要准备硬件环境(910B 8卡)和软件环境(CANN 8.2.RC1、msmodelslim等),通过下载官方镜像并安装必要的Python库完成环境配置。针对量化工具msmodelslim的特殊适配需求,文章详细说明了如何修改相关代码文件,包括新建__init__.py和glm4moe.py文件,并实现
直播回放链接:PyPTO:模型融合算子实操_哔哩哔哩_bilibili
下一代AI处理器架构引入了新的计算特性和加速器单元,如何充分利用这些新特性,将提升训练或推理的性能,成为了开发者们面临的新挑战。在大模型的开发过程中,性能调优是开发过程的重要一环,Profiling工具能够精准地采集芯片在运行过程中的各项性能数据,包括算子调度、算子执行、内存指标等,通过对这些数据的深入分析,开发者可以快速定位网络和算子的性能瓶颈所在,从而有针对性地进行优化。为了帮助开发者们更好地
总之,HiF8通过科学巧妙的设计,成功在8-bit位宽限制下,为神经网络训练和推理,提供了能力更全面的8位浮点单数据格式表达。本次直播将聚焦HiFloat8数据类型的技术细节、CANN软件栈支持新格式的算子和工具及其在训推模型的亮眼表现, 帮助大家了解如何发挥HiF8数据格式特点,走出“既要”精度“又要”性能的模型训推之路。这样的设计使得格式本身实现动态范围和精度平衡,摆脱了传统低比特数据格式对复
HiF8 Denormal模式在Normal模式支持的[-15, 15]共31个指数的基础上,额外扩展了[-22, -16]共7个指数(-23用于表示特殊值Zero和NaN),综合形成了[-22, 15]共38个指数的大动态范围,非常接近FP16的[-24, 15]的40个指数范围。毕竟8-bit浮点的矩阵乘算力,相对16-bit浮点是翻倍了的。如图2所示,HiF8在传统的符号域,阶码域,和尾数域
HiFloat8 (HiF8) 在保障数值主要分布(高概率密度)区域精度的前提下有优越的动态范围,支持粗粒度缩放与基于delayed scaling的训练,使计算缩放系数与后续运算解耦,充分释放Float8训练的性能潜力。这相对需要进行复杂的转换,如Per-Token/Per-Channel(需在张量子维度维护和索引缩放因子)或 Per-Block(进一步地,在算子层面影响Matmul规约连续性,
昆仑技术的解决思路是KunLun AI一体化AI行业落地方案,围绕“建好、管好、用好”三大目标,覆盖算力硬件、软硬协同、大模型工具链和AI应用落地四层能力,向下兼容算力底座,向上赋能行业应用,实现模型全流程管理与推理全链路优化,推动Watt-Flops-Tokens-Values高效转化,帮助客户高效推进大模型和智能体在行业的落地,让AI更快走向业务价值。以目前伙伴的“龙虾”智能体为例,企业的诉求
直播回放链接:PyPTO:IDE可视化实操_哔哩哔哩_bilibili
直播时间2026年3月5日19:00 - 18:00B站/微信视频号搜索【昇腾CANN】观看直播,期待你的观看~点击连接获取往期直播材料:https://gitcode.com/cann/community/tree/master/events/meetup/slides
学习 Catlass 的最佳方式,就是通过实际的 GEMM 示例,观察不同配置如何影响性能,并验证计算结果的正确性。虽然 GEMM 是核心,但 Catlass 的架构支持任何“切分-计算-合并”模式的算子,如卷积 (Conv2d)、FlashAttention、甚至自定义的 Transformer Block。下面的示例展示了一个典型的配置驱动 GEMM 算子:开发者只需要定义切分策略、调度策略和
直播回放链接:加速开发,释放生产力的必备利器_哔哩哔哩_bilibili
图二. Current Scaling VS Delayed Scaling高精度数据转换到低精度一般需要做缩放处理Scaling,或者称之为量化。假设给定一种量化粒度获得一个数据块记为X,Scaling的过程是给X乘上一个系数,使得所有值比较安全地转化到低比特的表达范围内,这个系数我们称之为缩放因子(或者称为Scaling Factor)。现有的量化方法分为Current Scaling(或者叫
直播时间2026年2月28日16:00 - 17:00B站/微信视频号搜索【昇腾CANN】观看直播,参与直播互动可获CANN周边小礼品。