
- メガカーネルは記録的な速度を出したが、本番化できたのは1モデル・1バッチサイズ・1顧客のみだった
- CUDA GraphsとPDLの追加だけで、カーネルを書かずにメガカーネル性能の98%を回収した
- Inductorの607個のチューニングフラグは相互作用が読みにくく、体系的な探索が必要と同社は指摘
メガカーネルから方針転換
Together AIは、昨年公開したAIメガカーネルについて、本番適用が難しいという結論に至ったと報告した。メガカーネルはモデルの順伝播全体を単一の高度に融合したGPUカーネルで実行する手法で、記録破りの速度を達成したとされる。しかし数カ月の取り組みの結果、実際に本番運用できたのは1モデル・1バッチサイズ・1顧客にとどまったという。
そこで同社は、何を簡略化できるかを検証した。その結果、既定のTorch Inductorカーネルの上にCUDA GraphsとPDLを加えるだけで、カーネルを1行も書かずにメガカーネル性能の98%を回収できたとしている。さらに「multi-kernels」とエージェントループを組み合わせることで、旧メガカーネルを最大1.7倍上回り、H100上のLlama 1Bで1100 TPS超を達成したと報告した。
同社はこれらの知見を、継続的に推論を最適化するフレームワーク「Together Compiler」に結実させた。ブログは3部構成で、第1部がTorch Compileの限界、第2部がメガカーネルの再検証、第3部がエージェント駆動の最適化基盤と本番システムから得た教訓となっている。
Torch Compileの仕組み
Torch Compileは、TorchDynamoがPythonの実行をトレースしてFXグラフとして演算を捕捉し、Inductorがそれを最適化してGPUカーネルを生成する。トレース時には実データを確保しない「フェイクテンソル」を使い、形状やデータ型、ストライドといったメタデータだけを扱う。
Inductorは捕捉したグラフを、pointwise(活性化など)、reductions(総和やsoftmax)、scans(累積和)、templates(GEMMなど)といったカテゴリに整理して中間表現に落とす。cuBLASなど既存ライブラリを呼ぶ演算はExternKernelとして扱われ、融合の対象になりやすい。
融合の判断は、can_fuse()で合法性を、score_fusion()でメモリトラフィック削減の見積もりによる順位付けを行い、貪欲にペア単位で進める。ただしこれは全体最適の探索ではなく局所的なヒューリスティクスで、メモリアクセスを共有しない演算の融合は見送られやすい。Llama 1BのワークロードでInductorは669 TPSを出したという。
フラグ設定が性能を左右
1つ目の発見は、コンパイラのヒューリスティクスがワークロードごとに最適な実装を選べないという点だ。Inductorには性能を上げるチューニングフラグが用意されているが、その探索空間は大きく複雑だった。
例えば重みを固定してよいと伝えるfreezingフラグは、大きなバッチサイズではスループットを10〜26%改善した。一方、行列ベクトル積が中心となるバッチサイズ1では49%の低速化を招いた。重みのFP32変換が行列ベクトル演算では元に戻されず、32ビットの重みのまま処理されていたためだと同社は説明する。
フラグ同士は独立ではない。2026年第3四半期時点でInductorは607個のチューニングフラグを公開しており、そのうち198個は過去1年に追加されたものだ。aggressive_fusionを単独で有効にするとLlama 1Bのスループットは6 TPS下がったが、combo_kernels、benchmark_fusion、triton.coalesce_tiling_analysisと併用すると3 TPS改善したという。
ベンチマークと融合の限界
2つ目の発見は、単体で最速のカーネルが推論時にも最速とは限らないという点だ。Inductorはカーネル単体を計測する前にGPUのL2キャッシュをクリアするが、実際の推論では直前の演算のデータが再利用される。同社は、単体ベンチマークの計測値が実際の順伝播より39〜58%遅く出る例を観測した。
計測用の入力が逆方向にキャッシュ挙動を歪めることもある。torch.embeddingのベンチマークではトークンIDをすべて0で初期化するため、64Kトークンの系列では全トークンが同じ埋め込みベクトルにアクセスし、ランダムなIDの場合より2.1倍速く計測された。さらに計測ハーネスは、GPU処理を行わない演算に対して2.5µsを報告し、他の計測値はNsight Systemsの報告より約3.6µs上振れした。
こうしたずれは選択ミスに直結する。Llama 1Bの出力射影GEMMでは、Inductorが選んだTritonカーネルが実測7.4µsで、cuBLASの6.4µsより15%遅かった。Mixture-of-Experts構成のGLM 5.3では、現実的な入力でMoE grouped-GEMMのベンチマークを修正した場合に比べ、PyTorch既定のベンチマークが4〜21%遅いという結果も示されている。
3つ目の発見は融合機会の取りこぼしだ。Llama 1Bで、要素ごとの活性化とKVインデックス処理という隣接する2カーネルが、メモリアクセスを共有しないという理由で融合されずに残る例が見つかった。前者は6個のCTAしか起動しておらず、GPUの132個のSMの大半が遊んでいる状態だったという。
未公表の部分と注意点
公開された本文では、3部構成のうち第1部の詳細と第2部の冒頭までが展開されている。第2部ではメガカーネル採用の動機として、カーネル起動オーバーヘッドを含む3つの非効率が挙げられているが、説明はその途中までだ。第3部のエージェントループや最終的な本番システムの具体的な構成は示されていない。
98%という回収率や1100 TPS超、1.7倍といった数値は、いずれもLlama 1B・H100という条件での報告だ。より大きなモデル、MoE構成、他社GPUでの再現性は明らかにされていない。Together Compilerの提供時期や利用形態、料金についても原文に記載はない。
| 手法 | 性能 | 特徴 |
|---|---|---|
| 既定のTorch Inductor | 669 TPS | 追加のカーネル記述なし |
| CUDA Graphs + PDL を追加 | メガカーネル性能の98%を回収 | カーネルを1行も書かずに達成 |
| multi-kernels + エージェントループ | 旧メガカーネルの最大1.7倍、1100 TPS超 | エージェントによる最適化ループを利用 |
| 初期のメガカーネル | 記録破りとされる速度(具体値の記載なし) | 本番化は1モデル・1バッチサイズ・1顧客 |
With just CUDA Graphs and PDL on top of default Torch Inductor kernels, we could recover 98% of megakernel performance without writing a single kernel.
既定のTorch Inductorカーネルの上にCUDA GraphsとPDLを加えるだけで、カーネルを1行も書かずにメガカーネル性能の98%を回収できた。
今後の見通し
第3部の詳細が公開されれば、エージェントループによる最適化がどこまで自動化できるのか、どの程度の人手や計算資源を要するのかが判断できる。あわせて、Llama 1B以外のモデルや他社GPUでの再現性、MoEのようなデータ依存アーキテクチャでの効果が示されるかが焦点になる。Inductorのフラグ探索を外部の仕組みで代替する動きは他社からも出てくるとみられ、コンパイラのヒューリスティクスをどこまで機械的に探索し直すかが実務上の争点になりそうだ。Together Compilerの提供形態と価格が公表されれば、自前の最適化と比較した導入判断が可能になる。
日本の開発者・IT企業にとっての意味
Torch Compileを既定設定のまま本番投入しているチームにとって、この報告は点検の材料になる。同じフラグが大バッチで10〜26%改善し、バッチサイズ1で49%遅くなるという例は、バッチサイズ別に実測しないまま設定を固定するリスクを示している。また、L2キャッシュをクリアした単体ベンチマークが実推論より39〜58%遅く出るという指摘は、マイクロベンチマークの数値だけでカーネルやライブラリを選定しない方がよいことを意味する。専用のメガカーネル開発に投資する前に、CUDA Graphsなど標準機能でどこまで届くかを確認する価値もある。LLM推論基盤を内製する企業は、フラグ探索や計測の自動化を内製するか外部フレームワークに委ねるかを今後判断する必要があるが、Together Compilerの提供形態は未公表であり、現時点で移行を検討する段階ではない。
気になる点
- CUDA GraphsとPDLだけで足りるなら、自前のカーネル実装は不要になるのか
- Together AIの報告はLlama 1B・H100という条件での結果です。同社は、異なるアーキテクチャや新しいハードウェアではInductorのヒューリスティクスが追随できないとも指摘しており、標準機能だけで常に足りるとは述べていません。他のモデルやGPUでの検証結果は現時点で公表されていません。
- Inductorのチューニングフラグは有効にすべきか、無効のままにすべきか
- 一律の答えは原文にありません。freezingは大きなバッチサイズで10〜26%改善する一方、バッチサイズ1では49%遅くなりました。aggressive_fusionも単独では6 TPS低下、他の3フラグとの併用では3 TPS改善しています。バッチサイズやモデルごとに実測して決める必要がある、というのが同社の主張です。
- Together Compilerは日本企業でも使えるのか、料金はいくらか
- 提供時期・提供形態・料金はいずれも原文に記載がなく、現時点では公表されていません。原文から分かるのは、Torch Compileのヒューリスティクスとベンチマークを置き換え、エージェントループで継続的に最適化する枠組みだという位置づけまでです。続報を待つ必要があります。
用語解説
- TPS
- 1秒あたりに処理できるトークン数。推論スループットの指標として使われる。
- Torch Compile / Inductor
- PyTorch 2.0で導入されたコンパイル機構とそのバックエンド。演算を融合しGPUカーネルを生成する。
- メガカーネル
- モデルの順伝播全体を単一のGPUカーネルに融合して実行する手法。
- CUDA Graphs
- 一連のGPU処理をグラフとして記録し再生することで、カーネル起動のオーバーヘッドを減らすNVIDIAの仕組み。
- PDL
- 原文では略称として言及されるのみで、詳細な説明はない。
- CTA / SM
- GPU上のスレッドブロックと演算ユニット。原文では6 CTA起動・132 SMという記述で利用率の低さを説明している。
出典
Last year we built megakernels. This year we deleted them: The road to Together Compiler
AI導入も顧問も、お任せください
何から手をつけるか、どこまでAIに任せるか。自社の業務に合わせて整理し、導入から運用まで伴走します。相談だけでも構いません。
AI導入について相談する