CANN 组织链接： https://atomgit.com/cann
SHMEM 仓库链接： https://atomgit.com/cann/shmem

---

在超大规模分布式 AI 计算中，集合通信（如 AllReduce）虽然高效，但其同步机制对于细粒度的、非规则的访存模式（如图计算、稀疏更新）显得过于僵硬。CANN SHMEM (Shared Memory) 库正是为解决这一挑战而设计。它基于 OpenSHMEM 标准，引入了 PGAS（Partitioned Global Address Space，分区全局地址空间） 编程模型，实现了跨设备显存的直接单边通信（One-sided Communication），极大地降低了数据交互的延迟和同步开销。

1. PGAS 编程模型与地址空间统一

SHMEM 的核心理念在于将分布式集群中所有 NPU 的显存资源逻辑上统一为一个巨大的、可寻址的全局地址空间。

1.1 对称堆（Symmetric Heap）机制

SHMEM 强制要求所有参与通信的进程（PE, Processing Element）在初始化时，都在其本地 HBM 中预留一块大小和布局完全相同的内存区域，即对称堆。

• 内存分配：所有需要进行远程访问的数据都必须在对称堆上通过 shmem_malloc 申请。
• 全局可见性：通过对称堆，PE 可以根据目标 PE ID 和本地偏移量，计算出唯一的全局逻辑地址，从而实现对远端数据的直接操作。

1.2 单边通信（One-sided）操作

SHMEM 的核心优势在于其单边通信原语，极大地简化了编程模型并提升了效率。

• 远程 Put/Get：shmem_put 允许本地 PE 将数据推送到远端 PE 的对称堆，无需远端 PE 执行接收（Receive）指令。shmem_get 则允许本地 PE 直接从远端 PE 抓取数据。
• 同步消除：与传统的 Message Passing 相比，单边通信消除了接收方执行协议栈处理、上下文切换和同步等待的开销，使数据搬运对远端计算核心几乎透明。

2. 跨设备加速路径与硬件驱动

SHMEM 能够根据集群拓扑，自动选择并驱动最高带宽的物理传输路径，这是其实现超低延迟的关键。

2.1 机内高速互联：HCCS 与 P2P DMA

在单机多卡环境中，SHMEM 充分利用 NPU 之间的 HCCS（High-speed Cache Coherent System）总线。

• 零拷贝 P2P：通过底层的 HCOMM 库驱动，SHMEM 实现了 NPU 显存之间的 P2P DMA（Peer-to-Peer Direct Memory Access）。数据直接从源卡 HBM 流向目标卡 HBM，完全绕过 Host CPU 和 PCIe Root Complex，实现微秒级延迟。
• Cache Coherency：HCCS 链路支持硬件层面的 Cache 一致性协议，保证了跨卡写入数据后的及时可见性。

2.2 跨机 RDMA：内核旁路加速

当通信跨越物理服务器时，SHMEM 利用 RoCE（RDMA over Converged Ethernet）协议栈。

• 用户态驱动：SHMEM 直接通过 HCOMM/RDMA 驱动操作 NIC（Network Interface Card）的硬件队列（QP），实现了内核旁路（Kernel Bypass）。通信指令直接从用户态软件下沉到 NIC 硬件。
• 性能保证：RDMA Write 原语完美匹配了 shmem_put 的单边语义。远端网卡直接将数据写入本地显存，实现了端到端零拷贝。

3. 分布式原子操作与细粒度同步

在分布式 PGAS 环境中，多个 PE 可能同时尝试修改同一远程地址，这需要原子操作（AMO）来保障数据一致性。

3.1 硬件加速的原子性操作

SHMEM 提供了丰富的原子操作 API，如加法、比较交换、逻辑运算等。

• 下沉执行：这些原子操作不是在软件层通过加锁实现的，而是直接映射到底层硬件支持的原子指令。冲突解决逻辑下沉到存储控制器或网络互联芯片，实现了极高的并行更新速度。

// 示例：原子递增远程 PE 上的计数器
// target_addr: 远端对称堆地址
// pe: 目标 PE ID
shmem_atomic_add(&target_addr, 1, pe); 

• 应用场景：这对于实现分布式锁、高性能计数器、以及参数服务器架构中的梯度累加至关重要，避免了传统 Barrier 导致的系统范围停顿。

3.2 内存屏障（Fences）与数据可见性

在异步操作中，为了保证读写顺序，SHMEM 提供了显式的内存屏障：

• shmem_fence：保证所有在 Fence 之前发出的 Put 操作都已完成并对远端可见。
• shmem_quiet：等待所有本地发出的 Put/Get 操作完成，但不需要与其他 PE 进行同步。这是一种轻量级的等待机制，用于确保本地 PE 在依赖远程数据前，数据已经到位。

4. 异步并行与通信计算重叠

SHMEM 的设计哲学是让计算核心（AI Core）尽可能不等待通信。

4.1 非阻塞 API 与 DMA 卸载

SHMEM 的数据操作默认是非阻塞的（Non-blocking）。

• 异步调用：shmem_put_nbi（非阻塞 put）指令一经发出，底层的 DMA 引擎立即接管传输任务，而上层 AI Core 则可以继续执行后续的计算逻辑。
• 通信与计算重叠：通过这种方式，SHMEM 有效地将通信延迟隐藏在了计算的阴影之下，提高了 AI Core 的利用率。

4.2 集合通信原语的 PGAS 实现

除了单边操作，SHMEM 也提供了高效的集合通信原语（如 shmem_barrier, shmem_broadcast）。但与 HCCL 不同的是，SHMEM 的集合操作基于 PGAS 内存模型实现，其同步和数据交换逻辑可以更加细粒度地定制。

5. 环境部署与性能度量

使用 CANN SHMEM 进行开发，需要关注底层的环境依赖和性能指标。

5.1 部署约束与资源要求

• 驱动依赖：SHMEM 库的运行高度依赖于 CANN Driver 对 HCCS 和 RoCE 硬件通信模块的正确初始化。错误的驱动配置会导致 shmem_init 失败。
• 对称内存配置：在启动分布式任务前，必须确保所有 PE 的对称堆配置大小一致，这是 PGAS 模型的基础。

5.2 Profiling 与延迟分析

性能调优的关键在于识别同步和通信延迟。

• 单边延迟测量：使用 Profiling 工具精确测量 shmem_get 的端到端延迟。高延迟可能指向网络拥塞或 PCIe 总线瓶颈。
• 同步点分析：通过分析 shmem_barrier 的等待时间，判断集群中是否存在“长尾效应”（即某些 PE 的计算任务比其他 PE 慢得多）。
• 吞吐量检查：通过工具检查 HCCS/RoCE 链路的带宽利用率，确保 SHMEM 操作能够饱和利用底层硬件资源。

---

CANN SHMEM 库通过引入 PGAS 和单边通信范式，为 CANN 生态系统提供了极具竞争力的分布式通信解决方案。它特别适用于需要高并发、细粒度数据存取的复杂 AI 应用，是实现大规模集群高性能扩展的重要技术支撑。