自 2006 年问世以来最大革新：英伟达 CUDA 13.1 发布，引入 Tile IR 为高层 GPU 编译器与 DSL 奠定基础

英伟达介绍称，本次更新的重点在于引入了一种名为CUDATile的全新GPU编程方式，旨在让更广泛的开发者群体能够更轻松地运用强大的AI与加速计算能力。NVIDIACUDATile引入了一套用于基于Tile（数据块）的并行编程的虚拟指令集，其侧重点在于让开发者能够更高层次地编写算法，并屏蔽诸如张量核心等专用硬件的实现细节。为何要为GPU引入Tile编程？英伟达表示，CUDA向开发者暴露的是单指令多线程硬件与编程模型。这就要求（同时也使得）开发者能以最大的灵活性和精确度来细致控制代码的执行方式。然而，编写出高性能、尤其是能在多种GPU架构上均有优异表现的代码，也可能需要付出相当大的努力。虽然存在众多辅助开发者挖掘性能的函数库，例如NVIDIACUDA-X和NVIDIACUTLASS，但CUDATile引入了一种比SIMT更高级别的GPU编程新范式。随着计算负载，特别是AI领域的演进，张量（Tensor）已成为一种基础数据类型。NVIDIA开发了专门操作张量的专用硬件，例如NVIDIA张量核心（TC）和张量内存加速器（TMA），它们已成为每一代GPU架构不可或缺的部分。再加上硬件日趋复杂，就需要更多软件来帮助驾驭这些能力。CUDATile抽象了张量核心及其编程模型，使得采用CUDATile编写的代码能够兼容当前及未来的张量核心架构。据英伟达介绍，基于Tile的编程使开发者能够通过指定数据块（即Tile），进而定义在这些Tile上执行的计算来编写算法。如此一来，开发者就无需设定算法的执行方式，而是让编译器与运行时自动处理这些细节。▲Tile模型（左）将数据划分为块，编译器将其映射到线程。SIMT模型（右）将数据映射到块和线程上图展示了随CUDATile引入的Tile模型与CUDASIMT模型在概念上的差异。这种编程范型在Python等语言中很常见，其中像NumPy这样的函数库可以让人指定矩阵等数据类型，然后用简单的代码指定并执行批量运算。CUDATileIR：Tile编程的基础CUDATile的基础是CUDATileIR（intermediaterepresentation，中间表示）。TileIR引入了一套虚拟指令集，使得能够以Tile操作的方式对本机硬件进行编程。开发者可以编写更高级别的代码，只需最小改动即可在多代GPU上高效执行。尽管NVIDIAParallelThreadExecution（PTX）确保了SIMT程序的可移植性，但CUDATileIR通过新增对基于Tile的程序的原生支持，扩展了CUDA平台。开发者专注于将其数据并行程序划分为Tile和Tile块，而由CUDATileIR负责处理到线程、内存层次结构和张量核心等硬件资源的映射。通过提升抽象级别，CUDATileIR使得用户能够为NVIDIA硬件构建更高级别的硬件专用编译器、框架以及领域专用语言。就Tile编程而言，CUDATileIR的地位类似于SIMT编程中的PTX。需要指出的是，这并非强制选择。GPU上的Tile编程只是编写GPU代码的一种可选方式，开发者不必在SIMT和Tile编程之间二选一（它们是共存的）。当需要SIMT时，开发者可以像往常一样编写内核；当希望利用张量核心进行操作时，则可以编写Tile内核。▲Tile编译路径嵌入到完整的软件栈中，位于SIMT路径旁边上图展示了CUDATile如何融入一个典型的软件栈，以及Tile路径如何作为一条独立但互补的路径，与现有的SIMT路径并存。开发者如何运用CUDATile编写GPU应用英伟达表示，CUDATileIR位于大多数程序员与Tile编程交互的层面之下。“除非你正在编写编译器或函数库，否则很可能不需要关心CUDATileIR的软件细节。”NVIDIAcuTilePython：大多数开发者将通过类似NVIDIAcuTilePython这样的软件与CUDATile编程进行交互——这是一个使用CUDATileIR作为后端的NVIDIAPython实现。CUDATileIR：对于那些希望构建自己的领域专用语言编译器或函数库的开发者，CUDATileIR将是您与之交互的层面。其文档与规范包含了关于CUDATileIR编程抽象、语法和语义的信息。如果您正在开发的工具/编译器/函数库目前以PTX为目标，那么您可以调整您的软件，使其也能以CUDATileIR为目标。参考地址：https://developer.nvidia.com/cuda/tile广告声明：文内含有的对外跳转链接（包括不限于超链接、二维码、口令等形式），用于传递更多信息，节省甄选时间，结果仅供参考，亚汇网所有文章均包含本声明。