《Ascend C 优化篇：Tiling 与双缓冲实战》
Ascend C 性能优化实战：Tiling 切分与双缓冲（Double Buffering）技术详解
8
9

算子功能正确只是起点，极致性能才是目标！本文聚焦两大核心优化手段：Tiling 策略设计 与 双缓冲流水线，助你将算子性能推向极限。
10
11

一、为什么需要 Tiling？

12
13
昇腾 NPU 的 Unified Buffer（UB）容量有限（约 2MB）。若单次处理数据过大：
14

• 无法一次性加载到 UB
  15
• 触发硬件异常或性能骤降
  16
  17
  因此，必须将大张量切分为小块（Tile）。
  18
  19

Tiling 设计原则：

20

• Tile 大小 ≤ UB 容量 / sizeof(T)
  21
• 尽量对齐硬件访问粒度（如 32B）
  22
• 考虑计算单元吞吐（如 Cube 要求 16 对齐）
  23
  24

二、单缓冲 vs 双缓冲

25
26### 单缓冲瓶颈：
[搬入A0] → [计算C0] → [搬出C0] → [搬入A1] → [计算C1] → …
Text

编辑



1
→ 计算单元大量空闲！
2
3### 双缓冲（Double Buffering）：
T0: 搬入A0, B0
T1: 计算C0 ←→ 搬入A1, B1
T2: 搬出C0 ←→ 计算C1
T3: ←→ 搬出C1
Text

编辑



1
→ 计算与搬移并行，吞吐翻倍！
2
3

三、双缓冲代码实现（关键片段）

4
5

6
TPipe pipe;
7
pipe.InitBuffer(inQueueA, 2, TILE_SIZE * sizeof(half)); // 2个buffer
8
pipe.InitBuffer(inQueueB, 2, TILE_SIZE * sizeof(half));
9
pipe.InitBuffer(outQueueC, 2, TILE_SIZE * sizeof(float));
10
11
// 预加载第一块
12
auto a0 = inQueueA.AllocTensor<half>();
13
DataCopy(a0, gmA, ...);
14
inQueueA.EnQue(a0);
15
16
for (int i = 0; i < tileCount; ++i) {
17
    auto a = inQueueA.DeQue<half>();
18
    auto b = inQueueB.DeQue<half>();
19    
20
    // 异步预加载下一块（关键！）
21
    if (i + 1 < tileCount) {
22
        auto a_next = inQueueA.AllocTensor<half>();
23
        DataCopy(a_next, gmA + nextOffset, ...);
24
        inQueueA.EnQue(a_next);
25
    }
26
27
    CubeMatMul(c, a, b, ...); // 计算
28
    outQueueC.EnQue(c);
29}
四、性能收益实测
在昇腾 910B 上，对 4096×4096 FP16 矩阵乘：
• 单缓冲：吞吐 180 TFLOPS
• 双缓冲：吞吐 340 TFLOPS（↑89%）
五、小结
Tiling 决定“能否跑”，双缓冲决定“跑多快”。掌握这两项技术，你的算子性能将大幅提升！
🔗 下期预告：《Ascend C 进阶篇：内存复用、Mask 与 Atomic 优化技巧》

👉 觉得有用？点赞支持一下吧！
2025年昇腾CANN训练营第二季，基于CANN开源开放全场景，推出0基础入门系列、码力全开特辑、开发者案例等专题课程，助力不同阶段开发者快速提升算子开发技能。获得Ascend C算子中级认证，即可领取精美证书，完成社区任务更有机会赢取华为手机，平板、开发板等大奖。​    报名链接:https://www.hiascend.com/developer/activities/cann20252