CANN 组织链接： https://atomgit.com/cann
SHMEM 仓库链接： https://atomgit.com/cann/shmem

---

在超大规模分布式 AI 集群中，通信模式的选择直接影响系统的可扩展性。CANN SHMEM (Shared Memory) 库通过将 OpenSHMEM 标准与异构计算架构的物理特性相结合，为开发者提供了一种基于分区全局地址空间 (PGAS) 的高性能通信方案。其核心优势在于单边通信（One-sided Communication）机制，允许处理单元（PE）在不依赖目标 PE 任何软件参与的情况下，直接完成对远端显存的读写，从而实现极低延迟的数据交互。

1. PGAS 编程模型与对称内存的一致性逻辑

SHMEM 库成功的关键在于其对集群地址空间的逻辑抽象，实现了跨设备内存的统一寻址。

1.1 对称堆（Symmetric Heap）的分配与寻址

对称堆是 SHMEM 的核心概念。所有参与通信的 PE 必须在初始化阶段在其本地 HBM 中预留一块大小和布局一致的内存区域。

• 全局偏移映射：当 PE A 在本地对称堆上申请内存时，SHMEM 机制确保所有其他 PE 都在其本地堆的相同逻辑偏移量处拥有对应的地址映射。
• 直接寻址：PE A 只需要知道 PE B 的编号（PE ID）和本地变量的地址偏移，即可通过简单的计算推导出 PE B 上的远程地址。这种静态且确定的寻址机制，避免了传统分布式系统中复杂的地址查找和动态交换。

1.2 内存对齐与 MTE 搬运效率

为了适配异构芯片的存储搬运引擎（MTE），SHMEM 对对称堆的内存分配施加了严格的对齐约束。

• 硬件对齐强制：SHMEM 的内存分配器会确保分配出的内存块起始地址满足硬件对齐要求（如 32 字节或更高）。这保证了数据搬运在硬件层面可以启用最快的突发传输（Burst Transfer）模式。
• 驱动层协同：驱动程序在底层配置 DMA 搬运流时，利用了这一对齐优势，使得跨卡数据的有效载荷传输率达到最高。

2. 单边通信原语：直接操作远端显存

SHMEM 提供的单边通信原语，是其低延迟、高灵活性的直接体现，彻底颠覆了传统的双边（Two-sided）消息传递模式。

2.1 远程存取（PUT/GET）的异步特性

SHMEM 的数据操作直接映射到底层 DMA 引擎，避免了远端 PE 的软件栈参与。

• shmem_put：将本地数据异步推送到远端 PE 显存。本地 PE 发出指令后立即返回，继续执行计算，底层 DMA 在后台完成传输。
• shmem_get：从远端 PE 显存抓取数据到本地。该操作同样是单边发起的，极大地减少了由于接收方阻塞或中断处理导致的延迟。

3.2 分布式原子内存操作（AMO）

在并行更新共享数据时，原子操作是保障一致性的关键。SHMEM 提供了硬件加速的 AMO。

• 存储侧执行：shmem_atomic_add 或 shmem_atomic_compare_swap 等操作被下沉到目标 PE 的内存控制器或网络接口卡（对于 RDMA）。这意味着冲突解决在靠近存储的位置完成，减少了数据在网络上的往返路径。
• 应用价值：这使得开发者可以高效地实现分布式计数器、信号量以及参数服务器中稀疏梯度的并行累加，而无需使用重量级的全局锁。

// 示例：原子地累加本地数据到目标 PE 的远程地址
void shmem_atomic_add_example(long* target_addr, long value, int pe) {
    // target_addr: 目标 PE 的远程对称堆地址
    // value: 要累加的值
    // pe: 目标 PE ID
    shmem_atomic_add(target_addr, value, pe);
}

3. 跨设备链路加速与硬件驱动

SHMEM 库的性能直接依赖于对底层高速互联链路的充分利用。它能够感知集群拓扑，并选择最优的物理路径。

3.1 机内高速互联：HCCS 加速路径

在单机多 NPU 的环境中，SHMEM 利用 HCCS（高速互联总线）实现卡间通信。

• P2P DMA 驱动：通过 HCOMM 库的底层能力，SHMEM 指令转化为 P2P DMA 事务。数据以最高带宽在卡间直接交换，延迟降至微秒级。

3.2 跨节点 RDMA：内核旁路与零拷贝

在跨越服务器的场景中，SHMEM 依赖 RoCE/InfiniBand 网络。

• 硬件卸载：SHMEM 利用 RDMA 的 Write/Read 原语实现单边操作。通信请求直接由 NIC 硬件处理，绕过操作系统内核协议栈，实现了内核旁路（Kernel Bypass）。
• 零拷贝传输：数据直接从源 NPU 显存传输到目标 NPU 显存，全程无需 CPU 或系统内存作为中间缓冲区，确保了网络带宽的饱和利用。

4. 异步并行与通信计算重叠

SHMEM 的高性能不仅在于通信的低延迟，更在于其通过异步操作实现计算与通信的深度重叠（Overlapping）。

4.1 非阻塞 API 与流水线设计

SHMEM 提供的非阻塞 API 是实现流水线的基础。

• shmem_put_nbi：发起非阻塞的远程写入操作。AI Core 在发出指令后可以立即继续执行数学计算，DMA 引擎在后台异步完成数据传输。
• 深度解耦：这种设计使得开发者可以构建复杂的计算-通信流水线，将通信延迟完全隐藏在计算周期内。

4.2 轻量级同步与内存屏障

在异步环境中，必须确保数据可见性。SHMEM 提供了轻量级的同步机制：

• shmem_fence：强制保证之前发出的所有写操作顺序完成。
• shmem_quiet：等待所有本地发起的远程操作完成。它是一种比 shmem_barrier 开销小得多的等待机制，仅用于本地数据依赖。

5. 环境部署、故障诊断与调优实践

要成功部署和调优 SHMEM 任务，开发者需要关注底层环境的正确配置和性能指标。

5.1 驱动与环境兼容性

• 配套一致性：SHMEM 库对驱动和 HCOMM 基础库的版本有严格要求。部署时必须确保 CANN Toolkit、驱动固件和操作系统内核模块的版本兼容。
• 拓扑检查：在任务启动前，使用系统工具确认 HCCS 链路和 RoCE 网络设备的状态正常，拓扑发现成功。

5.2 性能调优的量化分析

• Profiling 延迟分析：利用性能分析工具监测 shmem_get 的等待时间。如果该延迟较高，需要检查网络拥塞或 Tiling 粒度是否与 RDMA 的最佳传输大小匹配。
• 负载均衡诊断：分析各 PE 的计算时间差异。在 PGAS 模型中，如果负载不均，PE 间的 shmem_put 操作会导致部分 PE 频繁被远程访问，增加其 HBM 竞争。

---