CANN 组织链接： https://atomgit.com/cann
GE 仓库链接： https://atomgit.com/cann/ge

---

在 CANN 异构计算架构中，GE (Graph Engine) 扮演着“编译器大脑”的核心角色。它负责将来自上层框架（如 PyTorch/TensorFlow）的高级模型描述（IR）转化为 NPU 硬件可执行的最优指令序列。GE 的核心价值在于应用一系列基于硬件特征的图重写（Graph Rewriting）规则，包括算子融合、内存规划和 Tiling 策略绑定，从而最大限度地释放硬件的并行计算潜力。

1. 图的构建与算子注册映射

GE 的优化流程始于对输入图的精确解析和算子实现的选择。

1.1 IR 图的接收与解析

GE 接收的是一种标准化的中间表示图（通常基于 Protocol Buffers），该图描述了计算的拓扑结构。

• 节点与边：图由节点（Node，代表算子）和边（Edge，代表张量数据流）构成。GE 首先遍历图，验证其拓扑的完整性和合法性。
• 算子原型验证：GE 依据 metadef 中注册的算子原型，对图中每个节点的输入输出数量、类型和属性进行严格校验。

1.2 算子实现的选择与绑定

在解析图之后，GE 需要为每个算子节点找到最佳的硬件实现。

• ops-nn 优先：如果算子是标准的神经网络操作（如 Conv2D），GE 会优先在 ops-nn 库中查找高度优化的实现。
• 自定义算子映射：对于自定义算子，GE 会引用其在编译时注册的 Tiling 函数和核函数（Kernel Function）入口地址。

2. 算子融合（Operator Fusion）与硬件适配

算子融合是 GE 提高性能最核心的手段，它通过减少中间结果的 HBM 读写，最大化数据在片上内存的驻留时间。

2.1 融合规则的模式匹配

GE 内置了一套丰富的融合规则库，通过模式匹配（Pattern Matching）来识别可融合的算子序列。

• 融合模式：典型的融合模式包括 Conv-BN-Activation, MatMul-Bias-Activation, LayerNorm-Activation 等。
• 图重写：一旦匹配成功，GE 会执行图重写操作，将多个独立的算子节点替换为一个新的、复杂的融合算子节点。

2.2 融合后的 Tiling 策略重构

融合算子的 Tiling 策略必须同时满足原始算子链条的约束。

• Tiling 统一：GE 必须找到一个能够统一调度融合核函数的 Tiling 方案。这可能需要调整原始算子的 Tiling 粒度，以适应融合后的数据流。
• 内存优化：GE 在融合时，会将被消除的中间张量标记为“Local Memory Only”，从而在内存分配阶段完全消除其 HBM 占用。

2.3 融合的收益与限制

• 收益：
  • 减少 HBM 读写，降低访存延迟。
  • 减少 Kernel Launch 次数，降低调度开销。
  • 提升计算密度，增加 AI Core 利用率。
• 限制：
  • 融合后的核函数必须满足 NPU 的片上内存（UB）容量限制。
  • 融合可能破坏某些算子的并行性，GE 需要在融合收益与并行度损失之间进行权衡。

3. 内存规划与静态资源预估

由于 GE 主要处理静态图，它能够在执行前对整个模型进行深入的静态分析，预先规划内存。

3.1 峰值内存计算与预分配

• 生命周期分析：GE 分析图中每个张量的生命周期（从生成到最后一次被使用），并基于此构建内存复用图。
• 内存池规划：GE 计算出整个模型执行所需的峰值设备内存（HBM），并将此信息传递给 Runtime，由 Runtime 在初始化时进行一次性内存池预分配。

3.2 Workspace 动态分配

某些复杂算子需要额外的临时工作空间（Workspace）。

• Workspace 估算：GE 根据算子原型中的定义，为每个需要 Workspace 的算子估算出其大小。
• 内存复用：GE 会在生命周期不重叠的算子之间复用 Workspace 空间，进一步降低内存占用。

3.3 数据布局转换与重排消除

GE 负责处理 NPU 硬件对数据布局的特殊要求。

• NC1HWC0 适配：当算子需要硬件最优的 NC1HWC0 格式时，GE 会自动在图中插入布局转换算子（TransData）。
• 重排消除：如果 GE 发现一系列的布局转换是多余的，它会通过优化 Pass 将其消除，或将转换操作融合到前置算子中。

4. Tiling 策略绑定与指令流生成

GE 的最后阶段是将优化后的图转化为可下发到 NPU 硬件的指令流。

4.1 Tiling 策略的最终确定

GE 负责将算子的全局逻辑与底层的 Tiling 策略进行绑定。

• 调用 Tiling 函数：对于自定义算子，GE 调用其注册的 Tiling 函数；对于内置算子，GE 使用内部的 Tiling 策略。
• 元数据嵌入：Tiling 的结果（如 tileNum, blockSize）被嵌入到最终的离线模型（OM）中，作为 Runtime 启动 Kernel 的参数。

4.2 依赖图与执行流的生成

GE 生成的最终产物是一个高度优化的执行计划，其中明确定义了：

• Task 序列：计算任务、通信任务和内存操作的执行顺序。
• Stream 分配：GE 将独立的计算路径分配到不同的硬件执行流（Stream）上，实现流水线并行。

// 概念性代码：GE 如何处理 Tiling 并生成任务
void GraphEngine::CompileGraph(Graph& graph) {
    // 1. 算子融合
    ApplyFusionRules(graph);
    
    // 2. 内存规划
    PlanMemory(graph);
    
    // 3. 为每个节点生成 Tiling 策略
    for (auto& node : graph.GetNodes()) {
        TilingData tiling = node.GetOp()->GetTilingFunc()(node.GetInputs());
        node.SetTilingData(tiling);
    }
    
    // 4. 生成任务流
    GenerateTaskStream(graph);
}

5. 动态形状支持与运行时交互

对于动态形状的模型，GE 的编译策略更为复杂，需要与 Runtime 协同工作。

5.1 Max Shape 编译

• 最坏情况预估：GE 基于模型定义的最大输入形状（Max Shape）进行编译，预留足够的 HBM 和 Workspace 空间。
• 参数化 Kernel：GE 生成的 Kernel 是参数化的，能够处理小于等于 Max Shape 的任意输入。

5.2 Tiling 策略的动态选择

• 多 Tiling 编译：GE 可以为同一个算子编译多个 Tiling 方案，每个方案对应一种特定的输入形状范围。
• 运行时决策：Runtime 在接收到实际输入后，根据其 Shape 动态选择并加载最匹配的 Tiling 方案。

6. 总结

图引擎（GE） 是 CANN 软件栈的“编译器大脑”，它通过深度集成 ops-nn 的高性能算子、自动应用融合和布局优化，并精确管理 Tiling 策略，将高层模型的描述转化为硬件可执行的最优指令序列。GE 的优化能力直接决定了模型在 NPU 上的最终性能表现。