昇腾开源生态专区

第4关 玩转Hugging Face_魔搭_魔乐社区

为了模型的正常运行，我们在终端安装以下依赖库这里我已经安装了。

L0G4000：玩转HF/魔搭/魔乐社区

书生大模型实战营第四期新鲜出炉的“玩转Hugging Face/魔搭社区/魔乐社区”教程！此教程旨在帮助您学习当前火热的三大AI学习社区。将深入探索如何充分利用 Hugging Face、魔搭社区和魔乐社区的资源和工具，学习模型下载、上传以及创建您的专属Space，玩转三大平台。

玩转Hugging Face/魔搭社区/魔乐社区”教程

我们将深入探索如何充分利用 Hugging Face、魔搭社区和魔乐社区的资源和工具，学习模型下载、上传以及创建您的专属Space，玩转三大平台。注册登录ModelScope平台，进入导航栏模型库，可以搜索internlm找到相关模型（但是这也包括非官方模型），在这里我们可以搜索 internlm2_5-chat-1_8b，下载1.8b的对话模型，也类似于hugging face 一样拥有具体的详

大模型微调框架：AI开发者的福音！支持1000+模型，轻松实现大模型微调部署

MS-SWIFT是阿里魔搭社区开源的大模型微调部署框架，支持1000+模型的一站式解决方案。该框架具备三大优势：覆盖600+文本模型和400+多模态模型；7B模型仅需9GB显存；提供命令行和Web界面简化操作。支持多种训练方式（预训练、强化学习等）和硬件平台（NVIDIA/华为昇腾等），并集成Megatron并行技术可提速10倍。特色功能包括多模态训练、一键量化部署和零代码Web界面，适用于个人学

华为百度联手放大招！同日宣布开源惊动业界！

国内AI巨头掀起开源浪潮：百度、华为同日宣布重大开源举措 6月30日，百度开源文心大模型4.5系列10款模型，华为开源盘古70亿参数模型及720亿参数MoE模型，标志着中国科技企业集体拥抱开源战略。此次开源潮背后反映三大趋势：1）技术验证阶段结束，开源成为AI产业发展共识；2）企业从闭源转向开源以抢占市场高地；3）通过开源生态加速行业应用落地。值得注意的是，百度李彦宏曾公开质疑开源价值，华为也长期

一文读懂大模型推理部署框架：vLLM/SGLang/TensorRT-LLM/ollama/XInference 对比

一文读懂大模型推理部署框架：vLLM/SGLang/TensorRT-LLM/ollama/XInference 对比

HiFloat4 Format for Language Model Inference

Ascend HiFloat8 Al训练和推理

DeepSeek-V4重磅发布！国产AI芯片优先适配，算力生态迎来历史性转折

摘要： DeepSeek即将发布新一代多模态大模型DeepSeek-V4，支持文本、图片、视频生成，上下文窗口扩展至百万Token级，性能对标全球顶尖模型。此次升级首次优先适配华为昇腾、寒武纪等国产AI芯片，并给予数周独占期，标志着国产算力生态从被动适配转向主动协同。2026年2月数据显示，国产大模型Token调用量首次超越美国，全球前五中占据四席。国产算力有望重构供应链，提升效率并降低成本，国产

DeepSeek-V4重磅发布！国产AI芯片优先适配，算力生态迎来历史性转折

国产AI大模型DeepSeek-V4即将发布，技术突破引领全球AI格局重构 DeepSeek即将发布新一代旗舰多模态大模型DeepSeek-V4，支持文本/图片/视频全模态生成，百万Token级上下文窗口，性能对标国际顶尖模型。值得注意的是，该模型优先适配国产AI芯片（昇腾、寒武纪），打破"海外芯片优先"惯例，实现从被动适配到主动协同的转变。 最新数据显示，国产大模型周调用量已

SGLang 高性能LLM大语言模型大模型推理服务框，RadixAttention，SGLang vs vLLM vs llama.cpp vs Transformers 核心差异对比

SGLang（Structured Generation Language）是由斯坦福/LMSYS 团队发起的高性能大模型推理服务框架，通过协同设计后端运行时（SGVM）与前端语言，实现低延迟、高吞吐量的模型服务，同时强化结构化输出可控性，特别适合需要JSON/XML等格式输出的场景。性能优先（通用场景）：选vLLM；性能+结构化输出：必选SGLang；低资源/本地化部署：选llama.cpp；需

易用性SIG技术分享会预告——大语言模型的微调实践和并行训练

话题2：基于MindSpore TransFormers的微调实践。话题3：初识大模型:昇思MindSpore开源社区实习经历分享。在B站【MindSpore官方】直播间与腾讯会议同步直播。话题1：大语言模型时代下低参高效微调方法(PEFT)昇思MindSpore易用性SIG技术分享会。6月27日（周四）19:00-20:30。本期技术分享会邀请多位资深开发者。在线分享开发经验与心得——

收藏必看！DeepSeek R2突破大模型效率边界，成本降低40%，效率提升25%

DeepSeek即将发布R2旗舰模型，采用创新mHC架构，训练成本降低40%，效率提升25%，推理耗电减少40%。基于国产华为昇腾910B芯片，支持多模态任务，响应速度提升40%。通过成本压缩和边缘部署，降低中小企业AI应用门槛，推动AI技术普惠与民主化。

信创模盒ModelHub XC适配模型数量突破20000 国产芯片适配纵深推进

信创模盒ModelHub XC现已完成超过20000个大模型的适配认证，持续领跑国产AI模型适配与落地进程。平台持续深化模型—芯片协同优化体系，在实现规模化覆盖的同时，面向国产芯片的适配深度与广度取得关键进展。国产芯片适配实现规模化突破依托自适应编译引擎与自动化测试系统，ModelHub XC 已完成对主流国产AI芯片的大规模模型适配验证，其中：摩尔线程MTT S4000芯片适配取得阶段性进展，平

910B分布式部署Qwen235B

主节点 —> 节点1、服务器1子节点 —> 节点2、服务器2。

硬件异构性-cpu-gpu-npu

npu简介：https://www.zhihu.com/question/346062227

VeRL 强化学习场景下NPU环境profiling使用指南

本文介绍了在NPU环境下使用Profiling工具进行强化学习模型性能优化的方法。主要内容包括：1）Profiling配置的三部分结构（全局控制、角色控制和具体采集行为）；2）实践案例展示E2E和离散两种采集模式；3）MindStudio Profiler Analyze工具的使用，特别是性能对比功能；4）精细化采集策略，通过schedule类参数控制采集行为。文章提供了详细的配置示例和可视化结果

华为显卡部署DeepSeek-R1-Distill-Qwen-32B记录

DeepSeek 蒸馏模型 Qwen32B 在华为昇腾 Atlas 300I DUO上的部署记录（踩坑过程）

DeepSeek V4震撼来袭！国产AI巨头打破常规，华为抢先适配，英伟达被“踢出局”！

DeepSeek V4 即将发布，引发AI领域广泛关注。路透社独家披露，DeepSeek已提前向华为等国产芯片厂商开放测试权限，打破以往优先适配英伟达的惯例。同时，V4 Lite版本在AI社区被曝光，显示其具备100万token上下文窗口和多模态推理能力，SVG生成效果优于当前主流模型。此外，Anthropic指控DeepSeek等公司对Claude进行"蒸馏攻击"，而马斯克则

刚刚！华为首开源大模型震撼发布！

华为开源盘古7B和ProMoE72B大模型，提供70亿和720亿参数版本，支持昇腾硬件优化部署。7B模型具备元认知和双系统推理能力，ProMoE72B采用混合专家架构，性能领先。相关模型权重和推理代码已开源。同时提供大模型学习资料，包括路线图、视频教程、技术文档和面试题等，可免费领取。

解析CANN ops-nn中的MatMul算子：大语言模型矩阵运算核心组件深度剖析

CANN作为昇腾AI处理器的软件使能层，采用分层架构设计，其中ops-nn模块专门负责神经网络算子的实现。其核心架构如下图所示：fill:#333;important;important;fill:none;color:#333;color:#333;important;fill:none;fill:#333;height:1em;应用层AI框架层 TensorFlow/PyTorchCANN运行

MindSpore Models使用实例

摘要：本文介绍了MindFormers框架中权重转换与推理部署的关键步骤。首先需将模型权重转换为MindFormers支持的ckpt格式，并以Qwen2.5-72B为例说明目录结构和配置文件要求。重点包括权重切分、yaml配置参数设置（如并行配置）、tokenizer文件准备等。同时提供了config.json生成方法和MindSpore Models服务化部署指南，包括环境变量设置、服务配置修改

解析CANN ops-nn中的MatMul算子：大语言模型矩阵运算核心组件深度剖析

CANN作为昇腾AI处理器的软件使能层，采用分层架构设计，其中ops-nn模块专门负责神经网络算子的实现。其核心架构如下图所示：fill:#333;important;important;fill:none;color:#333;color:#333;important;fill:none;fill:#333;height:1em;应用层AI框架层 TensorFlow/PyTorchCANN运行

CANN ops-nn 算子解读：Stable Diffusion 图像生成中的 Conv2D 卷积实现

本文基于 CANN ops-nn 仓库中的 Conv2D 算子实现，解析其在 AIGC 图像生成场景（如 Stable Diffusion）中的核心作用与优化策略。

CANN ops-nn 算子解读：AIGC 大语言模型推理中的 MatMul 矩阵乘实现

本文基于 CANN ops-nn 仓库中的 MatMul 算子实现，解析其在 AIGC 大语言模型（LLM）推理场景中的核心优化技术。

解析CANN ops-nn中的MatMul算子：大语言模型矩阵运算核心组件深度剖析

CANN作为昇腾AI处理器的软件使能层，采用分层架构设计，其中ops-nn模块专门负责神经网络算子的实现。其核心架构如下图所示：fill:#333;important;important;fill:none;color:#333;color:#333;important;fill:none;fill:#333;height:1em;应用层AI框架层 TensorFlow/PyTorchCANN运行

CANN ops-transformer解读——大语言模型NPU加速的专属算子库

CANN ops-transformer解读——大语言模型NPU加速的专属算子库

解析CANN ops-nn中的MatMul算子：大语言模型矩阵运算核心组件深度剖析

CANN作为昇腾AI处理器的软件使能层，采用分层架构设计，其中ops-nn模块专门负责神经网络算子的实现。其核心架构如下图所示：fill:#333;important;important;fill:none;color:#333;color:#333;important;fill:none;fill:#333;height:1em;应用层AI框架层 TensorFlow/PyTorchCANN运行

用 CANN 部署大语言模型（LLM）实战指南：让百亿参数“跑”在国产硬件上

用 CANN 部署大语言模型（LLM）实战指南：让百亿参数“跑”在国产硬件上

解析CANN ops-nn中的MatMul算子：大语言模型矩阵运算核心组件深度剖析

CANN作为昇腾AI处理器的软件使能层，采用分层架构设计，其中ops-nn模块专门负责神经网络算子的实现。其核心架构如下图所示：fill:#333;important;important;fill:none;color:#333;color:#333;important;fill:none;fill:#333;height:1em;应用层AI框架层 TensorFlow/PyTorchCANN运行

CANN ops-nn 算子解读：大语言模型推理中的 MatMul 矩阵乘实现

本文基于 CANN ops-nn 仓库中的 MatMul 算子实现，解析其在 AIGC 大语言模型（LLM）推理场景中的核心优化技术。

解析CANN ops-nn中的MatMul算子：大语言模型矩阵运算核心组件深度剖析

CANN作为昇腾AI处理器的软件使能层，采用分层架构设计，其中ops-nn模块专门负责神经网络算子的实现。其核心架构如下图所示：fill:#333;important;important;fill:none;color:#333;color:#333;important;fill:none;fill:#333;height:1em;应用层AI框架层 TensorFlow/PyTorchCANN运行

解析CANN ops-nn中的MatMul算子：大语言模型矩阵运算核心组件深度剖析

CANN作为昇腾AI处理器的软件使能层，采用分层架构设计，其中ops-nn模块专门负责神经网络算子的实现。其核心架构如下图所示：fill:#333;important;important;fill:none;color:#333;color:#333;important;fill:none;fill:#333;height:1em;应用层AI框架层 TensorFlow/PyTorchCANN运行

解析CANN ops-nn中的MatMul算子：大语言模型矩阵运算核心组件深度剖析

CANN作为昇腾AI处理器的软件使能层，采用分层架构设计，其中ops-nn模块专门负责神经网络算子的实现。其核心架构如下图所示：fill:#333;important;important;fill:none;color:#333;color:#333;important;fill:none;fill:#333;height:1em;应用层AI框架层 TensorFlow/PyTorchCANN运行

CANN与大模型推理：在边缘端高效运行7B参数语言模型的实践指南

标准实现中，旋转位置编码（RoPE）与Q/K投影是分离的，导致多次内存读写。# 输入：权重W_q, W_k；输入X；位置ids# 分块计算# 2. 应用RoPE: Q[i] = Q[i] * cos(pos[i]) + rotate(Q[i]) * sin(pos[i])# （此处省略详细向量化指令，实际使用vmul/vadd/vrot等）pass该算子将两次内存访问合并为一次，实测提升Atten