【2023 · CANN训练营第一季】TIK C++矢量算子动态shape输入的实现
·
TIK C++矢量算子动态shape输入的实现
当算子shape固定时，开发者使用不同shape时需要重新对算子进行编译，带来大量的算子二进制文件。而动态shape的算子可以将形状通过核函数的入参传入核函数内，参与内部逻辑计算，从而符合不同shape下的使用场景。两者对比如下：
![[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-FfR19UK8-1685276563668)(../../../../AppData/Roaming/Typora/typora-user-images/image-20230528201151927.png)]](https://i-blog.csdnimg.cn/blog_migrate/e40411563a5125e0e982600acabd0313.png)
- 固定shape的输入
![[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-3OuZzeA6-1685276563669)(../../../../AppData/Roaming/Typora/typora-user-images/image-20230528201309672.png)]](https://i-blog.csdnimg.cn/blog_migrate/0b3c00b48064694f10fb43ff965e5c67.png)
- 动态shape的输入
![[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-XirpIKvt-1685276563670)(../../../../AppData/Roaming/Typora/typora-user-images/image-20230528201432240.png)]](https://i-blog.csdnimg.cn/blog_migrate/5becca6df5b0b74799ef07ed4269b4c3.png)
基于现有的固定shape算子，将其改装为动态shape的算子。将控制形状的BLOCK_DIM，TOTAL_LENGTH，TILE_NUM这些变量
依靠外界输入得到，在核函数中额外传入一个tiling，它将指向控制核函数逻辑处理的至关重要的这几个变量。
- 固定shape和动态shape代码文件的对比
![[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-L1zy3Ee9-1685276563671)(../../../../AppData/Roaming/Typora/typora-user-images/image-20230528201812282.png)]](https://i-blog.csdnimg.cn/blog_migrate/ec890f8e3cb5a9747078899df1cd2d7d.png)
昇腾计算产业是基于昇腾系列（HUAWEI Ascend）处理器和基础软件构建的全栈 AI计算基础设施、行业应用及服务，https://devpress.csdn.net/organization/setting/general/146749包括昇腾系列处理器、系列硬件、CANN、AI计算框架、应用使能、开发工具链、管理运维工具、行业应用及服务等全产业链
更多推荐
0
0- 0
已为社区贡献13条内容
所有评论(0)