在 AI 推理部署中，“跑通”只是第一步，真正的挑战在于性能调优。CANN 提供了一套强大的性能分析工具链（通常通过 msprof 命令调用），可精确追踪算子耗时、内存带宽、设备利用率等关键指标。本文将演示如何利用这些工具诊断并优化一个 ResNet50 推理应用。

1. 启用性能采集

在运行推理程序前，设置环境变量以启用性能数据采集：

bash

编辑

export PROFILING_MODE=1
export PROFILING_OPTIONS="scheduler:enable=1;task:enable=1;aicpu:enable=1"
./your_inference_app  # 你的 C++ 或 Python 推理程序

程序退出后，会在当前目录生成 profiling/ 文件夹，包含 .json 和二进制 trace 文件。

2. 解析性能报告

使用 CANN 自带的解析工具生成可视化报告：

bash

编辑

msprof --output=./report ./profiling

该命令会生成 HTML 报告，打开后可看到：

• Timeline 视图：每个算子的执行时间、是否重叠计算与数据传输；
• 算子耗时排行榜：Top 10 耗时算子；
• 内存带宽利用率：HBM 读写速率是否成为瓶颈；
• AI Core 利用率：计算单元是否空闲。

3. 实战案例：优化 Conv-BN 融合

假设报告指出 Conv2D 和 BatchNorm 分别占用 45% 和 20% 时间。理想情况下，这两个算子应被自动融合为一个 ConvBn 算子，减少中间张量写回。

但若原始 ONNX 模型未做融合，CANN 图编译器可能无法识别。此时可通过以下方式干预：

方法一：在导出 ONNX 时启用算子融合（PyTorch 示例）

python

编辑

import torch
import torchvision

model = torchvision.models.resnet50(pretrained=True).eval()

# 使用 torch.fx 或 onnx-simplifier 预处理
from onnxsim import simplify
torch.onnx.export(model, torch.randn(1, 3, 224, 224), "resnet50_raw.onnx")

# 简化模型（自动融合 BN 到 Conv）
onnx_model = onnx.load("resnet50_raw.onnx")
simplified, check = simplify(onnx_model)
onnx.save(simplified, "resnet50_fused.onnx")

方法二：在 CANN 编译阶段强制开启融合

使用 atc（Ascend Tensor Compiler）命令行工具时添加优化选项：

bash

编辑

atc --model=resnet50_fused.onnx \
    --framework=5 \
    --output=resnet50_optimized \
    --soc_version=xxx \
    --fusion_switch_file=fusion.cfg

其中 fusion.cfg 可显式启用融合规则：

ini

编辑

[OP_FUSION]
conv_bn_fusion=true
relu_conv_fusion=true

4. 优化前后对比

表格

指标	优化前	优化后
总推理时间	3.2 ms	2.6 ms
算子数量	178	122
HBM 读写量	1.8 GB	1.3 GB

性能提升 19%，且内存压力显著降低。

5. 高级技巧：自定义性能标记

在 C++ 代码中，可插入自定义事件标记，便于在 Timeline 中定位业务逻辑段：

cpp

编辑

aclprofMarkDesc desc;
desc.dataType = ACL_PROF_INT32;
desc.argsNum = 1;
int32_t tag = 1001;
desc.args = &tag;

aclprofSetMark("Preprocess_Start", &desc);
// ... 图像预处理 ...
aclprofSetMark("Preprocess_End", &desc);

这些标记会出现在 profiling 报告中，极大提升调试效率。

cann组织链接：https://atomgit.com/cann

ops-nn仓库链接：https://atomgit.com/cann/ops-nn

小结：性能调优不是“黑盒猜测”，而是基于数据的科学工程。CANN 的 profiling 工具链为开发者提供了显微镜级别的洞察力。