NVIDIA は、CUDA プラットフォームが 2006 年に登場して以来、最も重要なアップデートを発表しました。CUDA 13.1 では、ブロック指向、すなわちタイルモデルに基づく新しい GPU プログラミングパラダイム「CUDA Tile」が導入されます。その最大の特徴は、開発者がテンソルコアなどのハードウェア固有の詳細に縛られることなく、はるかに高いレベルでアルゴリズムを記述できる点にあります。
従来の CUDA は SIMT（Single-Instruction, Multiple-Thread）モデルを直接公開しています。プログラマはブロックとスレッドを明示的に管理し、データ配置や同期を細かく調整することで、最大限の柔軟性を得る一方で、非常に高い複雑さを引き受ける必要がありました。NVIDIA CUDA-X や CUTLASS のようなライブラリがあっても、複数世代の GPU にわたって高い性能を発揮するコードを書くのは容易ではありません。CUDA Tile は、SIMT よりもはるかに高いレベルの抽象化を提供します。
現代の計算ワークロード、特に人工知能分野では、主にテンソルに依存しています。こうした用途のために、NVIDIA は専用のハードウェアユニットである NVIDIA Tensor Cores と NVIDIA Tensor Memory Accelerators を開発し、現在の GPU アーキテクチャでは標準的な構成要素となっています。ハードウェアが高度化するにつれ、その性能を引き出せるソフトウェアの必要性も増大します。CUDA Tile はテンソルコアおよびそれに関連するプログラミングモデルの内部動作を抽象化し、CUDA Tile で記述されたコードが、現在および将来のアーキテクチャの両方と互換性を保てるようにします。
タイル指向のパラダイムでは、開発者は個々の配列要素ではなく、タイルという一体化されたデータブロックを単位として考えます。データをどのようにこれらの断片（タイル）に分割し、それぞれに対してどのような演算を行うかを記述します。コンパイラとランタイム環境は、その演算をスレッドにどのように割り当てるか、メモリ階層をどう利用するか、テンソルコアをどう活用するかを決定します。このアプローチは概念的には Python の NumPy のようなライブラリに似ており、行列や配列に対して高レベルな演算を行い、その裏側にある低レベルの詳細は隠蔽されます。
CUDA Tile の基盤となるのは CUDA Tile IR という中間表現であり、タイル操作のための仮想命令セットを導入します。PTX が SIMT プログラムに移植性を提供するのと同様に、Tile IR はタイルベース計算のネイティブサポートを追加することで CUDA プラットフォームを拡張します。開発者は並列タスクをタイルおよびタイルブロックへと分解することに集中し、Tile IR がそれらの構造をスレッド、メモリ階層、テンソルコアへとマッピングします。このより高い抽象レイヤーにより、PTX が SIMT パスを支えてきたのと同じように、Tile IR の上に新たなコンパイラ、フレームワーク、ドメイン固有言語（DSL）を構築できるようになります。
重要なのは、開発者が SIMT とタイルプログラミングのどちらか一方を永久に選ばなければならないわけではないという点です。タイルベースの GPU 開発は既存のモデルを補完するものです。きめ細かな制御や手動での最適化が必要な場合には、開発者はこれまで通りおなじみの SIMT カーネルを書き続けることができます。一方で、テンソルコアやブロックレベルの演算を効率的に活用したい場合には、タイルカーネルを呼び出すことができます。
ほとんどのプログラマは CUDA Tile IR と直接やり取りすることはありません。そうしたユーザー向けに、NVIDIA はバックエンドとして Tile IR を利用する Python 実装「NVIDIA cuTile」を導入します。専用のブログ記事とサンプルコードにより、その使い方が解説されています。一方で、コンパイラやライブラリ、DSL の作者は Tile IR 自体を扱うことになります。ドキュメントと仕様では、この中間形式の抽象化、構文、意味論が定義されています。現在 PTX を生成しているツールは、CUDA Tile IR をターゲットとするように適応させることも可能です。
CUDA 13.1 における CUDA Tile の導入により、AI をはじめとする計算集約型ワークロード向けの高性能 GPU コード開発は大幅に簡素化される見込みです。開発者は、必要に応じておなじみの SIMT モデルによる精密な低レベル制御を維持しつつ、アルゴリズムをはるかに高い抽象レベルで表現できるようになります。
