图引擎 (GE) 是 CANN 软件栈中的核心编译器，它充当了高级框架表示（如 ONNX 或自定义 IR）与底层硬件执行引擎（Runtime）之间的桥梁。GE 的核心价值在于其强大的全图优化能力，能够将用户定义的网络拓扑转化为最大化利用硬件并行特性的、内存效率极高的执行计划。

CANN 组织链接： https://atomgit.com/cann
GE 仓库链接： https://atomgit.com/cann/ge

---

1. 图表示（IR）与前端转换：从逻辑到可编译形态

GE 的首要任务是将来自上层框架的、通常是基于张量或算子调用的 IR 转换为其内部一致且易于优化的表示形式。

1.1 IR 的统一与数据流依赖分析

GE 必须处理来自不同源头的图表示，将其统一化为一种能精确表示数据流和控制流的中间表示。

• 数据依赖图（DFG）构建：GE 首先构建严格的 DFG，明确记录每个算子的输入依赖、输出产生点以及数据流的方向。这是所有后续优化（如融合、内存分析）的基础。
• 控制流与数据流分离：GE 必须区分纯粹的数据依赖（如 $C=A+B$）和控制依赖（如 If/Else 分支，或循环结构）。在 NPU 架构中，控制流的处理方式与数据流的并行计算完全不同，GE 需要精确地标识这些边界。

1.2 静态权重处理与数据预处理

模型部署的核心是处理庞大的静态权重。

• 权重格式化与量化：GE 在编译阶段负责对模型中的权重张量执行格式转换（如从 NCHW 转换为 NCHWc0 或其他 NPU 优化的布局）和精度量化（如 INT8 或 BF16 转换）。这一过程在编译时完成，避免了运行时开销。
• 常量折叠与死码消除：GE 执行针对常量输入的优化，如将常量运算直接折叠成新的常量输出，或移除图中所有不影响最终输出的冗余计算（死码消除）。

2. 内存优化：静态规划与地址重用机制的深度实施

对于 LLM 等大模型，内存占用是部署的硬性限制。GE 的静态内存规划是其最关键的技术之一。

2.1 张量生命周期分析与最小化峰值占用

GE 通过深入的时序分析来确定每个中间张量的有效存活周期。

• 生存期分析（Liveness Analysis）：GE 遍历 DFG，精确计算出每个临时张量从被写入到最后一次被读取所经历的时间窗口。
• 内存地址复用（Memory Aliasing）：如果两个张量 A 和 B 的有效生命周期在时间轴上完全不相交，GE 会将它们分配到相同的设备内存地址。这种策略极大地减少了模型部署所需的总显存峰值，这是内存受限场景下的核心突破。

2.2 内存访问优化与 TransData 算子的最小化

NPU 硬件对特定数据布局有极高的性能要求，这需要 GE 严格管理张量格式。

• 格式传播与推断：GE 尝试将 NPU 最优格式（如特殊的 Block Format）沿着数据流尽可能地传播。它不急于插入格式转换算子。
• 冗余转换的消除：只有在格式不兼容的算子边界处，GE 才会插入 TransData 算子。GE 的优化目标是确保这种转换算子数量最少化，因为每个 TransData 都意味着一次额外的内存读写和计算开销。

3. 算子融合的语义学与性能深度融合

算子融合是降低访存延迟的最直接手段。GE 采用的融合策略是基于深度语义分析的，而非简单的算子串联。

3.1 细粒度融合模板与结构感知

GE 维护了针对主流网络结构（如 Transformer Block、Residual Connection）的融合策略模板。

• 多层级融合：GE 能够识别并融合多个连续的、数据依赖性强的算子（如 LayerNorm $\to$ Linear $\to$ Activation）。融合后生成的单一核函数可以保证所有中间数据都停留在片上缓存中。
• 数值一致性校验：在融合过程中，GE 必须严格校验融合前后操作的数值等价性，特别是处理浮点数精度丢失和归一化参数的正确嵌入。

3.2 融合带来的硬件单元协同

• 异构单元协同调度：一个复杂的融合算子可能需要同时调度 Vector Unit (用于激活函数) 和 Tensor Core (用于矩阵乘法)。GE 负责生成一个统一的核函数，该核函数内部精确地协调这些异构单元的执行顺序和数据交换。

4. 执行序列生成与异步并发调度（Stream Model）

GE 的编译输出（OM 文件）本质上是一系列异步执行的任务（Task）序列。

4.1 任务粒度的定义与抽象

GE 将逻辑图节点转化为低级执行任务。

• Task 类型定义：编译输出包含 Kernel Launch Tasks (启动 ops-math 或 ops-nn 核函数)、Memcpy Tasks (Host/Device 间数据搬运)、以及 Synchronization Tasks (控制依赖)。
• Stream 分组：GE 根据数据依赖关系，将这些 Task 划分到不同的执行流（Stream）中。一个 Stream 代表一个并行的计算/传输序列。

4.2 Event 机制驱动的精确时序控制

Stream 间的协作依赖于 Event 机制来实现精确的同步。

• 依赖注入：GE 在编译时，识别出哪些任务必须等待其他任务完成（例如，计算任务必须等待数据搬运完成）。它会在生成的 Task 序列中，显式地插入 Event Wait/Set 操作。
• 计算/通信重叠：通过事件精确控制，GE 能够最大化地实现计算（Kernel Launch）与通信（Memcpy）的时间重叠，这是现代加速器架构提升利用率的关键手段。

5. 部署兼容性：OM 文件格式与动态形状的档位化

GE 编译的最终产物——OM 文件，需要具备高度的部署兼容性和前向适应性。

5.1 OM 文件的自包含结构

OM 文件是 Runtime 启动推理的唯一输入，必须包含所有执行信息。

• 静态信息固化：OM 文件内嵌了优化后的张量布局、静态内存分配表、以及所有 Task 序列描述。Runtime 加载 OM 文件后，即可一次性完成显存分配和图结构重建，实现快速启动。

5.2 动态形状模型的编译档位策略

为了支持运行时变化的输入尺寸，GE 采用了分级编译策略。

• 预定义档位（Buckets）：开发者需预先定义一组可能的输入形状范围。GE 为每个档位独立编译一套 Tiling 策略和内存规划。
• 运行时动态匹配：部署时，Runtime 检查实际输入尺寸，将其映射到预编译的某个档位上，并加载该档位对应的优化 Task 序列，确保即使是动态输入，也能享受到接近静态编译的性能。