Metaの広告ランキング、多段階シーケンスモデルでLLM型スケーリング則を実現

発表の背景

Metaのレコメンド基盤は毎日数十億のユーザー操作を処理しており、その時系列情報は広告効果に重要です。従来は、ユーザー行動の系列を扱うモデルと、手作業で設計した疎な特徴を扱うモデルを組み合わせる「ハイブリッド方式」が使われてきました。しかしこの方式は、コンポーネント間で情報が失われる・手動特徴量への依存が残る・スケールに限界があるという問題を抱えています。

今回の発表は、そうした課題を解決するためのアーキテクチャ変更と、学習手法の改善をまとめたものです。具体的には、モデル容量を増やしても実運用の計算資源を比例して増やさずに済む設計を目指しています。

多段階モデルの構成

新しいモデルは「オフラインユーザーモデル」と「オンラインランキングモデル」の2段階に分かれます。オフライン側ではユーザーの長期間の行動履歴を非同期に処理し、ユーザー表現を事前計算してキャッシュします。このとき、ユーザー特徴は広告やコンテキストの特徴と分離され、特定の広告候補に依存しない形になります。

オンライン側では、キャッシュされた表現と最新のユーザーシグナル・広告候補情報を組み合わせて、リアルタイムでランキングを出力します。オンライン側はレイテンシ制約が厳しいため、計算量を抑えつつオフライン側の深い表現を活用できることが特徴です。この分離により、オフライン側のモデル規模を拡張しても、オンライン推論のコスト上昇を抑えられます。

学習技術の改良

もう一つの革新は「高密度トークン化」と「ターゲット認識型マルチヘッドアテンション」です。従来はスパースな特徴を人手で交差させる必要がありましたが、高密度トークン化では、疎な特徴と行動系列を一つの密な語彙空間に統合し、モデルが特徴間の相互作用をデータから直接学習できます。

また、トークン化した特徴と広告候補情報をユーザー行動系列と融合し、各アテンションレイヤーが「評価対象の広告」と「ユーザーの過去行動」の関連を重み付けします。こうした多層のアテンションを安定した分布で積み重ねることで、長い系列をコンパクトな表現に圧縮し、高次の相互作用を捉えられるとしています。

LLM型のスケーリング則

実運用の広告トラフィックで計測したところ、モデルの性能と計算量(FLOPs)の関係が、LLMで知られる対数線形の傾向に従うことが分かりました。これは、テキスト以外の領域でも、計算量を増やせば性能が予測可能に向上する「スケーリング則」が成立することを示します。

記事では、スケーリングを効果的に進めるための4つのレバーも紹介しています。バランスの取れたモデル形状、多段階構成のチューニング、多様な行動種別を含む系列構成、そして創発的なセマンティック特徴の活用です。特に、系列は単一の行動種別より多様な行動を混ぜた方が性能が高いと報告されています。

実績と今後の展望

これらの改良により、Instagramでコンバージョン6%増、Facebookでコンバージョン3%増、広告クリック3.5%増という累積効果を確認したとしています。また、このモデルはMetaの生成AIベースの広告レコメンド基盤「GEM」の中核コンポーネントとされています。

現時点では、論文「LLaTTE」として詳細な技術内容が公開されており、今後の展望として、LLM分野で実績のあるmixture-of-expertsやAdvanced Attentionなどの手法を応用し、さらにスケールを拡大する可能性に言及しています。ただし、具体的なモデルサイズや学習コストなどの詳細は記事では明らかにされていません。