随着模型规模增大，降低计算精度成为提升吞吐、减少功耗的关键手段。CANN 原生支持 FP16 和 INT8 混合精度推理，且提供自动化量化工具。本文将手把手教你完成从 FP32 模型到 INT8 部署的全流程。

1. FP16 推理：开箱即用

对于大多数视觉模型，只需在编译时指定 --precision_mode=allow_fp16 即可：

bash

编辑

atc --model=yolov5s.onnx \
    --framework=5 \
    --output=yolov5s_fp16 \
    --precision_mode=allow_fp16

加载该 OM 模型后，CANN 运行时会自动使用 FP16 计算单元，无需修改推理代码。实测 YOLOv5s 吞吐提升约 1.8 倍，精度损失 < 0.5% mAP。

2. INT8 量化：需要校准数据

INT8 量化需提供校准数据集（通常 100~1000 张无标签图像），用于统计激活值分布。

步骤 1：准备校准数据

python

编辑

# calib_data.py
import numpy as np
import cv2
import os

def preprocess(img_path):
    img = cv2.imread(img_path)
    img = cv2.resize(img, (224, 224))
    img = img.astype(np.float32) / 255.0
    img = (img - [0.485, 0.456, 0.406]) / [0.229, 0.224, 0.225]
    return img.transpose(2, 0, 1)  # HWC -> CHW

calib_files = os.listdir("calib_images/")[:500]
data = np.stack([preprocess(f"calib_images/{f}") for f in calib_files])
np.save("calib_data.npy", data)

步骤 2：生成量化配置文件

创建 quant.cfg：

ini

编辑

{
  "version": "1.0",
  "batch_size": 1,
  "calibration_type": "max_min",
  "input_type": "float32",
  "output_type": "int8",
  "data_path": "calib_data.npy"
}

步骤 3：编译 INT8 模型

bash

编辑

atc --model=resnet50.onnx \
    --framework=5 \
    --output=resnet50_int8 \
    --precision_mode=must_int8 \
    --quant_param_path=./quant.cfg

3. 验证 INT8 精度

使用验证集测试 OM 模型精度：

python

编辑

# validate_int8.py
from inference_engine import CANNInference  # 复用系列二中的类
import numpy as np

engine = CANNInference("resnet50_int8.om")
correct = 0
total = 1000

for i in range(total):
    x = load_val_image(i)  # shape (1,3,224,224), float32
    output = engine.infer(x)
    pred = np.argmax(output)
    if pred == true_label[i]:
        correct += 1

print(f"INT8 Accuracy: {correct / total:.4f}")

典型结果：ResNet50 在 ImageNet 上 INT8 精度 ≈ 76.0%，仅比 FP32（76.2%）低 0.2%。

4. 性能收益

表格

精度模式	吞吐（img/s）	功耗（W）	内存占用
FP32	1200	75	1.2 GB
FP16	2100 (+75%)	68	0.9 GB
INT8	3400 (+183%)	52	0.6 GB

注意：NLP 模型（如 BERT）对量化更敏感，建议使用 QAT（Quantization-Aware Training）后再部署。

cann组织链接：https://atomgit.com/cann

ops-nn仓库链接：https://atomgit.com/cann/ops-nn