在人工智能从2D 图像理解向3D 空间认知跃迁的浪潮中，自动驾驶、机器人导航、AR/VR、工业数字孪生、无人机巡检等领域对 空间智能（Spatial Intelligence）​ 的需求呈爆发式增长。这类任务通常涉及 点云处理、体素化、三维重建、空间几何推理、多传感器融合​ 等复杂计算，不仅需要强大的算力，还对数据管线、模型结构、硬件加速有特殊要求。

华为 CANN 生态此前已提供了从底层算子（opbase、ops-math）、CV 加速（ops-cv）、Transformer 加速（ops-transformer、ascend-transformer-boost）到训练与推理配方（cann-recipes-train、cann-recipes-infer）等全套工具链。但对于 空间智能​ 这一新兴且高度异构的场景，仍缺少一个能将 数据准备 → 模型训练 → 推理部署 → 可视化评估​ 全流程固化为可复用方案的组件。

华为 CANN 生态中的 cann-recipes-spatial-intelligence 库（全称 CANN Spatial Intelligence Recipes，空间智能配方库），正是为此而生。它是一套 面向 CANN 平台的空间智能任务参考方案与工具集，将 LiDAR 点云处理、3D 检测/分割、SLAM、多模态空间感知等典型场景的训练与推理流程封装为“配方”，并提供自动化数据管线、模型优化、分布式执行与可视化工具，让开发者能像使用烹饪食谱一样快速开展空间智能实验与生产部署。如果说 cann-recipes-train​ 是通用 AI 训练的“实验厨房”，那么 cann-recipes-spatial-intelligence​ 就是专为 3D/空间任务打造的“测绘与导航实验室”。

一、cann-recipes-spatial-intelligence 是什么？为什么需要它？

cann-recipes-spatial-intelligence​ 是 CANN 中专为 空间智能任务全流程​ 设计的参考库，核心定位是：提供经过验证的空间智能训练与推理方案（配方），覆盖点云预处理、3D 模型构建、多传感器融合、空间几何推理、实时推理部署等环节，降低空间智能工程化门槛，提升实验可复现性与跨场景迁移能力。

核心痛点与解决方案

在空间智能项目中，常见挑战包括：

• 数据异构性强：LiDAR 点云、RGB-D 图像、IMU、GPS 等多模态数据格式不一，预处理流程复杂；

• 3D 算子优化难：点云采样、体素化、3D 卷积、空间变换等算子未针对 CANN 硬件优化，性能瓶颈明显；

• 训练与推理割裂：训练时常用 PyTorch 自定义数据管线，部署时需重写 C++/OM 推理逻辑，复现困难；

• 实时性要求高：自动驾驶、机器人等场景要求毫秒级推理时延，传统方案难以满足；

• 评估可视化复杂：3D 检测结果需在空间坐标系中可视化，缺乏与 CANN 推理联动的工具。

cann-recipes-spatial-intelligence 的解决方案是 “场景化配方 + 异构数据管线 + 3D 算子加速 + 端到端自动化”：

• 配方化封装：将典型空间智能任务（如点云目标检测、3D 语义分割、SLAM 建图）固化为 YAML/JSON 配置 + 可执行脚本，包含数据路径、模型结构、传感器标定、优化策略等；

• 异构数据管线：支持 ROS bag、KITTI、Waymo、nuScenes 等主流数据集，自动完成点云滤波、坐标变换、多模态对齐、体素化等预处理；

• 3D 算子加速：集成针对 CANN AI Core 优化的点云采样、3D 卷积、空间注意力等算子，提升训练与推理吞吐；

• 端到端自动化：从数据加载、模型训练、分布式部署到推理可视化，一键执行，支持断点续训与动态 batch；

• 可视化评估：与 CANN 推理联动，实时渲染 3D 检测框、轨迹、点云分割结果，支持多视角对比分析。

二、cann-recipes-spatial-intelligence 的核心架构与功能模块

cann-recipes-spatial-intelligence 的架构围绕 “配方定义 → 数据管线 → 模型训练 → 推理部署 → 可视化评估”​ 构建，核心模块可分为五大组件（如图 1 所示），覆盖空间智能任务全生命周期。

（一）配方定义层（Recipe Definition Layer）

目标：用结构化配置描述空间智能任务的“原料”与“工序”，支持 YAML/JSON 格式。

一个典型的空间智能配方包含：

# 示例：LiDAR 点云 3D 检测配方（pointpillars_detection.yaml）
recipe:
  name: "pointpillars_detection"
  version: "1.0"
  scenario: "lidar_3d_object_detection"  # 场景标签
  data:
    dataset_type: "KITTI"
    data_root: "/data/kitti"
    point_cloud_topic: "/velodyne_points"
    calib_files: "/data/kitti/calib"
    classes: ["Car", "Pedestrian", "Cyclist"]
    voxel_size: [0.16, 0.16, 4.0]
    point_cloud_range: [0, -39.68, -3, 69.12, 39.68, 1]
  model:
    backbone: "PointPillars"
    neck: "FPN"
    head: "AnchorHead"
    precision: "fp16"
  training:
    optimizer: "AdamW"
    base_lr: 1e-3
    batch_size_per_device: 8
    epochs: 80
    augmentations: ["random_flip", "global_rotation", "gt_sampling"]
  inference:
    score_threshold: 0.5
    nms_iou_threshold: 0.5
    post_processing: "anchor_based"
  deployment:
    runtime: "triton"
    batch_size: [1, 4, 8]
  visualization:
    output_dir: "./vis_results"
    render_3d: true
    overlay_point_cloud: true

关键特性：

• 多模态支持：可同时配置 LiDAR、相机、IMU 等传感器参数与融合策略；

• 动态参数化：通过 ${VAR}引用环境变量或命令行参数，支持不同硬件配置；

• Schema 校验：内置 JSON Schema 校验，防止缺失字段或类型错误。

（二）数据管线模块（Data Pipeline）

目标：自动化完成多模态空间数据的读取、解析、预处理与增强。

核心功能：

• 多源数据读取：支持 ROS bag、KITTI、Waymo、nuScenes 等数据集，自动解析点云（.bin/.pcd）、图像（.png/.jpg）、标定文件（.txt/.json）；

• 坐标系统一：根据传感器外参自动将点云、图像、IMU 数据转换到统一坐标系（如车辆坐标系、世界坐标系）；

• 点云预处理：体素化（Voxelization）、下采样（Farthest Point Sampling）、去噪（Statistical Outlier Removal）、坐标归一化；

• 多模态增强：点云随机旋转/翻转、图像亮度/对比度调整、时空同步增强（如模拟传感器运动模糊）；

• 数据加载优化：多进程/多线程读取，支持预取与缓存，适配高吞吐训练。

（三）模型训练模块（Model Training）

目标：提供空间智能模型的训练加速与分布式支持。

核心特性：

• 3D 算子优化：集成 CANN 优化的点云采样、3D 卷积、空间注意力算子，提升训练吞吐；

• 混合精度训练：支持 fp16/bf16 混合精度，结合 loss scaling 保障数值稳定性；

• 分布式训练：基于 hccl 实现多卡/多机分布式训练，支持数据并行与模型并行；

• 断点续训：自动保存与加载模型、优化器、数据增强状态，支持训练中断后无缝恢复；

• 配方复用：可继承基础配方并修改模型结构或数据增强策略，快速开展 ablation study。

（四）推理部署模块（Inference Deployment）

目标：将训练好的空间智能模型高效部署到 CANN 设备，满足实时性要求。

核心功能：

• 模型转换：将 PyTorch/TensorFlow 模型转换为 CANN OM 格式，优化 3D 算子执行效率；

• 动态 Shape 支持：适配不同点云密度与场景尺寸，运行时自动调整体素网格大小；

• 多 batch 推理：支持动态 batch 与序列 batch，提升硬件利用率；

• 服务化部署：集成 cann-recipes-infer 的 Triton 适配器，提供 RESTful/gRPC 接口；

• 性能优化：融合预处理（体素化、坐标变换）与推理，减少数据搬运开销。

（五）可视化评估模块（Visualization & Evaluation）

目标：提供空间智能任务的结果可视化与量化评估工具。

核心功能：

• 3D 渲染：实时渲染点云、3D 检测框、分割掩码、轨迹路径，支持多视角（俯视、侧视、第一人称）；

• 量化指标：计算 mAP、IoU、ATE（绝对轨迹误差）、RPE（相对位姿误差）等空间智能专用指标；

• 对比分析：支持不同模型、不同参数配置的推理结果并排对比；

• 视频导出：将推理过程录制成视频，便于演示与报告生成。

三、代码示例：基于配方快速启动 PointPillars 3D 检测训练

下面以 KITTI 数据集上的 PointPillars 点云目标检测为例，演示如何使用 cann-recipes-spatial-intelligence 的预定义配方。

步骤 1：选择并定制配方

git clone https://atomgit.com/cann/cann-recipes-spatial-intelligence.git
cd cann-recipes-spatial-intelligence/recipes/pointpillars_detection

修改 pointpillars_detection.yaml适配本地环境：

data:
  data_root: "/mnt/data/kitti"
training:
  batch_size_per_device: 4   # 根据 GPU/NPU 内存调整

步骤 2：执行训练配方

./run_train.sh --config pointpillars_detection.yaml --output_dir ./train_output

执行成功后，train_output目录结构如下：

train_output/
├── checkpoints/          # 模型权重与优化器状态
├── logs/                 # 训练日志与 Profiling 报告
├── tensorboard/          # TensorBoard 可视化数据
└── vis_results/          # 训练过程中的可视化样本

步骤 3：推理与可视化

# 使用训练好的模型进行推理
./run_infer.sh --config pointpillars_detection.yaml \
  --checkpoint ./train_output/checkpoints/best.pth \
  --data_split val

# 可视化推理结果
./visualize_results.py --result_dir ./train_output/vis_results/val

可视化界面将显示点云与 3D 检测框的叠加效果，支持交互式旋转与缩放。

四、cann-recipes-spatial-intelligence 的使用流程图

其核心流程可总结为“选择配方 → 数据准备 → 模型训练 → 推理部署 → 可视化评估”，具体流程如图 2 所示：

五、cann-recipes-spatial-intelligence 的独特价值

维度	传统空间智能开发	cann-recipes-spatial-intelligence 配方化开发
数据准备效率	需手动编写多模态解析代码	自动化管线，支持主流数据集即插即用
3D 算子性能	通用算子未针对 CANN 优化	集成 CANN 优化 3D 算子，吞吐提升 3~10x
实验复现性	依赖个人脚本与经验	配方锁定数据与训练参数，完全一致
端到端效率	训练与推理流程割裂	一键完成训练→部署→可视化，全流程自动化
可视化评估	需额外集成第三方工具	内置 3D 渲染与指标计算，结果直观
跨场景迁移	需重写数据管线与模型	配方参数化，快速适配新数据集与新任务

六、典型应用场景

1. 自动驾驶感知：LiDAR 点云 3D 目标检测与跟踪，实时输出车辆、行人、骑行者位置与姿态；

2. 机器人导航：室内外 SLAM 建图与路径规划，融合 LiDAR 与 RGB-D 数据实现精准定位；

3. AR/VR 空间重建：实时 3D 场景重建与物体分割，为虚拟内容叠加提供空间锚点；

4. 工业数字孪生：工厂设备点云建模与缺陷检测，支持毫米级空间精度；

5. 无人机巡检：电力线、管道等线性资产的 3D 缺陷识别与空间定位。

七、总结与展望

cann-recipes-spatial-intelligence 库是 CANN 生态中 “空间智能任务的工程加速器”，它通过场景化配方与端到端自动化，将复杂的多模态数据处理、3D 模型训练与实时推理封装为可复用方案，让开发者从繁琐的工程细节中解放出来，聚焦算法创新与场景落地。与 ops-cv​ 的 2D 视觉加速、ascend-transformer-boost​ 的序列建模能力、hccl​ 的分布式通信形成互补，进一步完善了 CANN 在 2D+3D 融合智能​ 领域的全栈支持。

未来，随着 神经辐射场（NeRF）、4D 时空感知、多机器人协同空间认知​ 等前沿方向的发展，cann-recipes-spatial-intelligence 将进一步扩展对 动态场景重建、时空融合模型、联邦空间学习​ 等配方的支持，并强化与 ROS 2、OpenUSD 等空间计算生态的集成，成为 CANN 平台赋能空间智能的核心支柱。

📌 仓库地址：https://atomgit.com/cann/cann-recipes-spatial-intelligence

📌 CANN组织地址：https://atomgit.com/cann