ONNX 作为 AI 模型的“通用语言”，被广泛用于跨框架迁移。然而，直接将 ONNX 模型部署到 CANN 设备往往无法发挥最佳性能。本文将揭示 CANN 图编译器（ATC）的高级用法，帮助你生成高效率 OM 模型。

1. 基础编译命令

bash

编辑

atc --model=model.onnx \
    --framework=5 \          # 5 表示 ONNX
    --output=model \
    --soc_version=xxx \      # 设备芯片版本，如 Ascendxxx
    --log_level=error

但仅这样远远不够。

2. 关键优化选项详解

✅ 启用动态 Shape 支持（适用于变长输入）

bash

编辑

--input_shape_range="images:1~8,3,224,224"

允许 batch size 在 1~8 之间动态变化，避免为每个 batch 重新编译模型。

✅ 指定输入格式（减少预处理开销）

bash

编辑

--input_format=NCHW
--input_shape="images:1,3,224,224"

若原始模型为 NHWC，而设备偏好 NCHW，编译器会自动插入 transpose。但最好在导出 ONNX 时就统一格式。

✅ 开启高级融合

bash

编辑

--enable_small_channel_eliminate=true \
--enable_fusion=true \
--buffer_optimize=enable

这些选项可进一步合并小通道卷积、消除冗余 buffer。

3. 处理自定义 OP

若 ONNX 包含非标准算子（如 GridSample），需提供 Custom Parser：

python

编辑

# grid_sample_parser.py
from atc import register_op

@register_op(op_type="GridSample")
def parse_grid_sample(graph, node):
    # 将 GridSample 拆解为 CANN 支持的原语（如 gather + interpolate）
    ...

然后在编译时指定：

bash

编辑

--custom_parser=grid_sample_parser.py

4. 验证 OM 模型正确性

使用 CANN 提供的 benchmark 工具进行精度与性能双验证：

bash

编辑

benchmark --model=model.om \
          --input=test_input.bin \
          --output=output.bin \
          --device_id=0

同时可对比 ONNX Runtime 输出：

python

编辑

# compare_outputs.py
ort_out = onnxruntime_infer("model.onnx", input_data)
om_out = cann_infer("model.om", input_data)
diff = np.max(np.abs(ort_out - om_out))
assert diff < 1e-3, f"Output mismatch: {diff}"

5. 自动化编译脚本示例

bash

编辑

#!/bin/bash
# build_om.sh
MODEL=$1
NAME=$(basename $MODEL .onnx)

atc \
  --model=$MODEL \
  --framework=5 \
  --output=$NAME \
  --soc_version=xxx \
  --precision_mode=allow_mix_precision \
  --input_format=NCHW \
  --enable_fusion=true \
  --log_level=info

echo "OM model saved to ${NAME}.om"

使用：./build_om.sh mobilenetv3.onnx

---

结语

这三篇文章分别聚焦于 性能分析、精度-效率权衡 和 模型编译优化，构成了 CANN 高效部署的“铁三角”。掌握这些技能，你不仅能“让模型跑起来”，更能“让模型飞起来”。

所有技术细节均基于公开文档规范整理，适用于任何基于 CANN 架构的开发环境。

如需更多主题（如多模型流水线、TensorRT 对比、大模型 KV Cache 优化等），欢迎继续提出！

cann组织链接：https://atomgit.com/cann

ops-nn仓库链接：https://atomgit.com/cann/ops-nn