昇腾入门

昇腾社区和开源代码仓

昇腾社区首页
Ascend开源仓
CANN开源仓

昇腾硬件产品有哪些

查看昇腾硬件产品说明：点击昇腾社区首页，查看“产品”-》“Atlas系列硬件”可以看到所有产品。
昇腾硬件产品列表
昇腾计算产品3D展示

昇腾软件全栈架构图

查看昇腾软件全栈：点击昇腾社区首页，查看“产品”，可以看到所有软件版本文档，如下图：

昇腾推理解决方案

小模型推理： 【PyTorch生态】主要有ACL离线推理和torchair在线推理。

大模型推理： 【PyTorch生态】主要有MindIE、vLLM、SGLang、xLLM。

【MindSpore生态】：查看MindSpore产品全景

怎么找推理适配的模型

已适配的小模型列表：链接
已适配大模型列表： MindIE文本生成模型、MindIE视图生成模型、魔乐社区-MindIE、vllm支持、SGLang支持、xLLM支持

昇腾训练解决方案

小模型训练：PTA
大模型训练：MindSpeed

怎么找训练适配的模型

已适配的小模型列表：gitcode社区、魔乐社区
已适配大模型列表： MindSpeed-LLM、MindSpeed-MM、MindSpeed-RL

一文看懂英伟达的产品体系和命名规则

https://mp.weixin.qq.com/s/R0rQqWw2bjGm6B44pNKWwQ

A800是专为中国市场设计的合规版A100（规避美国出口限制）

单个AI处理器算力计算逻辑

算力介绍：

• 首先了解评估算力的指标：xxOPS, 即每秒可执行多少次运算。
  举个例子： 如280 TFLOPS FP16算力，指的是每秒280 *（10^12）次半精度浮点运算；560 TOPS INT8算力，指的是每秒560 *（10^12）次整型运算。
  1MFLOPS: 等于每秒一百万(=10^6)次浮点运算；
  1GFLOPS: 等于每秒十亿(=10^9)次浮点运算；
  1TFLOPS: 等于每秒一万亿(=10^12)次浮点运算；
  1PFLOPS: 等于每秒一千万亿(=10^15)次浮点运算；
  1EFLOPS: 等于每秒一百京(=10^18)次浮点运算；

• 时钟周期（主频）
  处理器执行动作的最小时间单位，也就是我们经常看到主频，例如AI CORE时钟频率为1 GHz（1,000,000,000 次/秒），那么每个时钟周期的持续时间就是1纳秒（1/1,000,000,000 秒）。

昇腾AICore一拍(即一个时钟周期或一个指令)能完成多少次计算：

以fp16运算为例，cube一拍可以完成一个基本操作：X=A * B + C, =16 * 16 * 16 * 2=8192次运算；vector一拍可以完成一个基本操作：C=A * B，=16 * 16=256次运算

单个AI处理器浮点算力＝AIC核数×处理器主频×每拍可进行的最高浮点运算次数 + AIV核数×处理器主频×每拍可进行的最高浮点运算次数

以910系列为例：

fp16理论值计算方式：
cube：16 * 16 * 1 6 *  2 * 频率 * AIcore数量
vector：16 * 16 * 频率 * vector核数量
算力值：cube算力值+vector算力值

fp32理论值计算方式：
cube: 8 * 16 * 8 * 2 * 频率 * AIcore数量
vector：8 * 16 * 频率 * vector核数量
算力值：cube算力值+vector算力值

计算某910系列的FP16算力：
单个AI处理器浮点算力＝AIC核数×处理器主频×每拍可进行的最高浮点运算次数 + AIV核数×处理器主频×每拍可进行的最高浮点运算次数。

假设AIC核数为10，主频为3000MHz, AIV核数为20，则：
cube算力=10 * 3000MHz * 8192 = 245.76TOPS
vector算力=20 * 3000MHz * 256 = 15.36TOPS
总的算力=cube算力+vector算力=261.12TOPS