Meta Andromeda刷新、単一GPUで毎秒10億件超の広告検索

発表の概要

Metaは、パーソナライズ広告の検索エンジン「Meta Andromeda」の次世代版を公開した。広告レコメンドの最初の段階であるretrievalで、ランキング段階に近いモデル性能を維持しながら、単一GPUサーバー上で毎秒10億件超の広告を処理できるとする。2024年版のMeta Andromedaと比べて100倍のスループット向上という。

広告主にとっては、同じレイテンシ予算のまま、より大きな候補プールから広告をマッチングできる。2025年以降、Meta AndromedaはFacebookでコンバージョンを2.4%増やしたと報告されている。

MoEで推論コスト削減

新アーキテクチャの中心は、大規模言語モデルで使われるMixture-of-Experts（MoE）をretrievalに持ち込んだ点にある。ユーザー側は単一のタワーから、関心ごとに分かれた複数の専門家タワーの集合に変わった。連続的な広告エンゲージメント、ユーザーコホート表現、LLM由来の意味特徴、画面横断の共エンゲージメント信号を統合する。

候補広告側はリアルタイムの配信コンテキストを結合し、相互作用層は密なニューラルネットから注意機構ベースのMoEゲーティングに進化した。候補を最も関連するユーザー専門家に動的に振り分ける。これにより、2024年版のretrievalモデルと比べて約300分の1の推論時FLOPsで、ランキング段階に近い性能を実現するという。

単一GPUへの融合と配置

モデルだけでなくシステム側も協調設計した。ユーザーと広告の相互作用ごとに、モデル実行とシステム処理を1つのGPUカーネルに融合する。従来は複数の小さなカーネルを呼び出し、中間テンソルをHBMに書き出していたが、融合カーネルでは中間結果をGPUのレジスタや共有メモリに保持し、HBMへの冗長なトラフィックをなくす。

さらに、索引マッチング、スコアリング、top-K選択を同じGPU上に配置した。従来はCPUホストとリモートGPUの間で候補リストをやり取りし、ネットワーク帯域がボトルネックになっていた。コンパクトなリクエストだけをGPUサーバーに送り、最終的なtop-Kだけを返す構成に変えたことで、ネットワーク通信量を約100分の1に削減した。

索引マッチングのGPU移設では、広告主が設定する複雑なターゲティング条件を数十の特徴カテゴリにわたって評価し、リアルタイムの索引更新にも対応する必要があった。GPU並列実行向けに索引構造を再設計し、本番のターゲティング意味論を保ったとしている。

NVIDIAとの協調最適化

2026年初頭からNVIDIAと共同で、retrievalパイプラインの各構成要素をハードウェア限界に近づける最適化を進めた。NVIDIAが最適化済みGPUカーネルを提供し、Metaが統合とベンチマークを担当した。各構成要素でベースライン比2〜5倍の高速化を得た。

相互作用ネットワークのゲーティングカーネルは5.3倍高速化し、毎秒24億件から100億件超に向上した。GPUのピークHBM帯域の約85%に達した。単純な内積スコアリングカーネルと同じ程度のレイテンシで、より表現力の高いモデルを動かせるという。INT8量子化ではFP16最適化カーネル比で最大2倍のスループット向上があり、精度は16ビットと同等だった。

索引マッチングは2倍超の高速化で毎秒1000億件超に達し、スコアリングネットワークの1桁上になった。余裕があるため、複数のretrieval経路で再実行してもボトルネックになりにくい。パイプライン全体では、構成要素間のデータ移動が遅延の大きな割合を占めていたとし、索引マッチングとスコアリングのデータレイアウトを協調設計して不要な間接参照を除いた。

現時点の注意点

原文は、全最適化を適用したパイプライン全体の最終結果の記述が途中で終わっている。単一GPUサーバーで毎秒10億件超という数値は示されているが、end-to-endの最終スループットや精度、消費電力、コストへの影響は本文だけでは判断できない。

この仕組みはMetaの広告配信基盤に組み込まれた内部実装であり、外部向け製品としての提供時期や、日本市場での適用時期は原文に記載がない。NVIDIA GH200を前提とした設計であり、他のGPU環境やクラウドへの一般化可能性も明らかではない。

2024年版からの移行詳細や、モデル容量をさらに増やした場合の効果も今後の説明を待つ必要がある。ただし、モデル・システム・ハードウェアを同時に設計する「協調設計」の方向性は、大規模レコメンド基盤を扱う企業にとって参考になる。