K-SearchがCUDAのカーネル最適化知識をApple Silicon向けMLXに自動翻訳

発表の概要

UC Berkeley BAIRの研究チームは、2026年7月29日、AIを活用したGPUカーネル最適化フレームワークK-SearchをAppleのMLXフレームワークに拡張したことを発表した。K-Searchは、LLMが最適化の次の一手を考え、コード生成モデルが候補カーネルを作成し、実際のハードウェア上で評価を繰り返す進化的検索手法である。今回、CUDAで培われた最適化知識をApple Silicon向けに自動翻訳するレイヤーを追加した。

この翻訳レイヤーにより、ネイティブMLXのAttentionカーネルと比較して0.97倍の性能を達成し、MambaのSSMカーネルではコミュニティ実装mlx-lmと比べてプレフィル処理で最大20倍の高速化を確認した。研究チームは、MLXに限らずCUDAの知識が転用可能なあらゆるエコシステムに適用できるとしている。

MLXとK-Searchの背景

MLXはAppleが自社製チップ向けに開発した機械学習フレームワークで、2023年後半から急速に採用が進んでいる。統一メモリ構造により、Mシリーズ搭載Macで7B〜70Bパラメータ規模の中規模モデルをクラウドなしで推論できる点が強みだ。しかし、NVIDIAエコシステムでは当たり前に存在するページドアテンションや最適化されたSSMスキャン、融合MoEルーティングなどのカーネルが欠けているか、未調整のままである。

K-Searchは、カリフォルニア大学バークレー校のSky Labで開発された進化的カーネル最適化フレームワークだ。LLMが最適化戦略を推論し、コード生成モデルが候補を生成、実機ベンチマークで評価してフィードバックを返すループを繰り返す。検索は、ハードウェアの制約や数式上の制約を記述したSpecと呼ばれるドメイン固有文書に基づき、無効なプリミティブの生成を防いでいる。

CUDA知識の翻訳手法

翻訳レイヤーは、CUDAのプリミティブとMLX/Metalの対応関係を定義した概念マッピング表を核とする。例えば、CUDAの__shared__はMetalのthreadgroupメモリに対応するが、その容量はNVIDIAの48KBに対して32KBという制約がある。また、H100の約3.35TB/sのHBM3帯域幅はM3 Maxの約400GB/sの統合DRAMに比べて大きく異なり、どの最適化が有効かが変わる。

さらに、CUDAに直接の等価物がない操作のためのMLX固有のパターンや、専門家のカーネル挙動を検索が維持すべき性質として言い換えた再利用可能な検証条件も用意する。これにより、単にコードをコピーするのではなく、アーキテクチャに適した最適化戦略を推論できるようにする。

性能評価と今後の課題

評価では、ナイーブなベースライン、翻訳レイヤーなしの純粋な進化、翻訳レイヤーありのフルコンテキストの3構成を比較している。Attentionカーネルでは、フルコンテキストでAppleの最先端カーネルの0.97倍の性能に到達し、FlashAttention-2の主要な最適化であるオンラインソフトマックスやexp2命令を独立に再発見したという。

MambaのSSMカーネルでは、M1 Max上のmamba-370m f16で評価し、mlx-lmと比較してプレフィルで最大20倍の高速化を確認した。ただし、結果は特定のハードウェアとモデルサイズに限られており、汎用性を裏付けるにはさらなる評価が必要とみられる。また、今回の検索にはGemini 3.5 Pro Previewという単一モデルが使われており、モデル変更による影響も未知数だ。