AIチップの現在地：NVIDIA GPUとTPU、LPU、WSEの競争

専用チップの時代が到来

2018年の国際シンポジウムで、ジョン・ヘネシー氏とデビッド・パターソン氏はチューリング賞講演を行いました。その中で彼らは、従来のCPUの性能向上が頭打ちになり、ドメイン特化アーキテクチャ（DSA）の必要性を訴えました。

実際、1980年代には単一スレッドのCPU性能が年間52％伸びていましたが、2018年には3％にまで低下しています。ムーアの法則とデナードスケーリングの終焉が背景にあります。

両氏は「次の10年で新奇なコンピュータアーキテクチャのカンブリア爆発が起きるだろう」と予言しました。この予言は結果的に当たり、今では多くのAI専用チップが登場しています。

実用化されたAIチップ群

現在、実際に導入が進んでいるAIチップは、NVIDIAとAMDのGPU、GoogleのTPU、AmazonのTrainium、Cerebrasのウェハスケールエンジン、GroqのLPUなどです。それぞれ設計思想が異なります。

NVIDIAはGPUを並列コンピューティングの中核に据え、CUDAというソフトウェア基盤で幅広い用途を支える戦略です。一方、AMDもGPUで続き、OpenAIとMetaからそれぞれ6GWの電力コミットメントを得ています。

GoogleのTPUはGeminiの訓練に使われ、今後は最大100万チップ規模でAnthropicにも提供される予定です。Anthropicはまた、100万以上のTrainiumチップでClaudeを動かしています。CerebrasはOpenAIの推論を担当し、GroqのLPUはNVIDIAが200億ドルで買収しました。

NVIDIA GPUの設計思想

NVIDIAは1つのチップに数千のスレッドを載せ、ホストCPUが全体を管理するという設計です。AIの行列演算には専用のTensor Coreを備え、それ以外の活性化関数やノーマライゼーションは通常のCUDA Coreが処理します。

Tensor Coreは世代ごとに進化しており、最新のB200ではFP4や専用のメモリ（TMEM）を搭載し、行列演算の効率を高めています。また、データ移動の負荷を減らすため、DMAエンジンを利用するTMAを導入しています。

性能を左右するメモリ戦略

AIワークロードは、トレーニングと推論の前処理では行列・行列演算（GEMM）になり計算が中心ですが、推論の復号では行列・ベクトル演算（GEMV）になり、メモリ帯域がボトルネックになります。

この「メモリウォール」に対応するため、各チップはデータの配置や移動を工夫しています。NVIDIAはHBMメモリを増やし、キャッシュ層を細かく設計しています。専用チップの選定では、演算性能だけでなく、データがどれだけ速く供給されるかが鍵です。