Meta、広告向け基盤モデルGEMの学習効率を2倍化——MFU 20〜25%達成

発表の概要

Metaが2026年8月3日に公開した技術ブログによると、広告推薦基盤モデルGEMの学習をLLMスケールで行い、エンドツーエンドのMFU（モデルFLOPs利用率）を20〜25%に倍増させたと報告しています。同時に、過去12ヶ月で総学習FLOPsを4倍に拡大したとしています。MFUとは、GPUの理論演算性能に対して実際にモデル学習に使われた演算の割合を示す指標です。

この成果は、カーネル、精度、並列化、ネットワーク、メモリを協調設計することで達成されたと述べられています。GEMは、InstagramとFacebookの広告推薦を支える基盤モデルで、疎な埋め込みパラメータが数兆個、密なパラメータが数十億個というハイブリッドアーキテクチャを採用しています。

GEM固有の学習課題

GEMの学習は、LLM向けに最適化された既存のAIインフラをそのまま適用できないという課題があります。ユーザーの行動履歴などのシーケンス特徴と、位置情報や広告クリエイティブなどの非シーケンス特徴が混在し、データ形状がジャギー（不均一）になります。シーケンス長は数百から数万トークンまでばらつき、パディングで最大長に揃えると最大50%の計算リソースが無駄になります。

また、自己注意、交差注意、プール化多頭注意など非対称な注意機構が混在し、メモリバウンドな演算が多いことも特徴です。さらに、広告のCTR/CVR予測は数値変化に敏感で、単純な低精度化では精度劣化を引き起こしやすいため、工夫が必要だとしています。

効率向上のフレームワーク

Metaは学習効率を「E2E MFU = ローカルMFU × スケーリング比」に分解しました。ローカルMFUは単一GPUの計算資源利用率、スケーリング比は多数GPUに分散したときの性能維持率です。これにより、計算効率（カーネル設計、精度）とスケーリング効率（並列化、通信、負荷分散）という2つの独立した最適化問題として取り組めるようにしています。

この分解により、GPU単体での性能向上と、数千GPU規模での性能劣化の要因を切り分けて対策できるようになりました。実際に、ローカルMFUの改善にはカスタムカーネルと超低精度学習、スケーリング比の改善には5次元並列化とネットワークトポロジーを考慮した通信の隠蔽が寄与しています。

計算効率の改善

計算効率の改善では、推奨タスク専用のカーネルライブラリを開発しました。ジャギー入力を直接扱う「Jagged Flash Attention（JFA）」では、パディングによる最大50%の無駄を排除し、バックワード計算の並列化やTriton拡張によるワープスペシャライゼーションにより、JFA v4はv2比で40〜140%のTFLOPS向上を実現しました。

また、多様な非対称注意機構を統合したGPUドット積注意（GDPA）や、長いユーザー履歴の自己注意を線形オーダーに削減するBlockAttentionも開発しています。さらに、MXFP8形式による注意機構とMLPの超低精度学習を導入し、精度を維持しながらTensor Coreのスループットを実質的な高速化に結び付けています。

スケーリング効率の改善

スケーリング効率の改善には、トポロジーを考慮した5次元並列化を採用しました。密なパラメータには2次元FSDP（Fully Sharded Data Parallel）とエキスパート並列、疎なパラメータには完全共有型の2次元モデル並列を組み合わせ、Metaの多層ネットワーク階層と協調設計することで通信オーバーヘッドを削減しています。

さらに、Streaming Multiprocessor（SM）を使わない集団通信により、通信と計算のオーバーラップを効率化し、負荷不均衡を減らしています。これらの取り組みにより、数千GPU上でほぼ線形なスケーリングを実現したとしています。

現時点での注意点

このブログでは、GEMの学習効率の詳細が報告されていますが、具体的なハードウェア構成やネットワーク構成、各技術の詳細な実装方法は公開されていません。また、推薦モデルとLLMではワークロードの特性が大きく異なるため、この手法を他のモデルにそのまま適用できるとは限らないとみられます。

Metaは今後、これらの技術をさらに発展させ、広告システムの性能向上に役立てる方針と考えられます。日本のIT企業が同様の取り組みを行う際には、自社のモデルアーキテクチャやデータ特性に合わせたカスタマイズが必要になるでしょう。