CANN 组织链接： https://atomgit.com/cann
Runtime 仓库链接： https://gitcode.com/cann/runtime

1. 模型资产的构成与依赖关系

一个完整的 CANN 推理部署包不仅仅包含模型权重，它是一个复杂的资产集合，这些资产必须保持版本同步。

1.1 部署资产的三大核心组成

1. 模型文件：转换后的计算图（Graph）文件，通常由 GE/Converter 生成，描述了算子间的拓扑结构和依赖关系。
2. 权重文件：加密或量化后的模型参数，其精度和量化参数（Scale/ZPs）必须与图定义一致。
3. 算子包 (Op Package)：包含所有非标准算子（包括自定义 Ascend C 核函数和可能被优化的 ops-nn 算子）的二进制代码、Tiling 信息和注册元数据。

1.2 版本一致性的强制性

Runtime 在加载图文件时，会进行严格的依赖校验。

• 算子 ID 匹配：图中的每一个算子 ID 都必须能在 Runtime 的注册表中找到对应的实现。如果图引用了一个在当前部署环境中不存在的 ops-nn 算子版本，或一个未被加载的自定义算子包，加载将失败。
• 精度与属性匹配：模型图定义的输入/输出精度必须与算子包中核函数所期望的精度一致。任何不匹配都会导致 Runtime 拒绝执行，以防止数据不一致性。

2. Runtime 的安全加载与校验流程

Runtime 在初始化阶段负责模型资产的加载和验证，这是确保执行安全和性能稳定的关键步骤。

2.1 图加载与算子解析

当模型被加载到 NPU 内存空间时：

1. Tiling 数据解析：Runtime 读取图中的 Tiling 信息，这些信息指导了硬件如何分区数据。
2. 硬件能力匹配：Runtime 检查图中所需的算子是否可以在当前 NPU 硬件上以最高性能模式执行。如果模型中包含仅支持 FP32 的算子，而部署环境仅配置了 INT8 优化，Runtime 将根据预设的兼容性策略决定是回退到 FP32 硬件实现，还是报告精度受限警告。

2.2 动态加载与卸载管理

在需要支持多种模型的部署场景中，Runtime 必须管理算子包的动态加载和卸载。

• 动态链接：自定义算子包通常作为动态库被加载到 Runtime 的地址空间中。加载过程本身就是一次复杂的符号解析过程，需要确保所有依赖项（如底层 ACL 库或 SHMEM 库）已正确链接。

3. 性能验证与部署的关联

部署验证不仅是功能正确性测试，更是性能基线的重现。

• 性能基准对比：部署后的系统必须运行基准测试，将 P99 延迟和吞吐量与开发环境下的 Profiling 结果进行对比。任何显著的性能下降通常指向：驱动版本不匹配、算子融合丢失、或运行时内存碎片化严重。

4. 总结

CANN 的部署流程是一个严格的版本和安全管理过程。Runtime 作为核心执行者，通过解析图结构、校验算子属性和安全签名，确保了从开发到生产环境的整个计算栈的一致性、安全性和可复现性。模型部署的成功，是 ops-nn 算子、Ascend C 代码、Runtime 调度和安全校验机制共同协作的结果。

CANN 组织链接： https://atomgit.com/cann
Runtime 仓库链接： https://gitcode.com/cann/runtime