- 配備後のLLMに「覚醒」と「睡眠」の周期性を持たせ、継続学習を可能にする枠組み
- 睡眠は記憶固定と「夢」の2段階で構成され、MoEのエキスパート拡張と蒸留を使う
- BABILongで1000万トークンまでほぼ完全にスケールし、GPT-4やTitansを上回った
発表の背景
現在のLLMは事前学習と文脈内学習(ICL)によって高い性能を発揮しますが、配備後はほぼ静的なままで、知識のカットオフ日付が固定されます。そのため長期的な能力を獲得したり、新しい情報に適応したりすることができません。新しいデータでモデルを更新するのは自明な解決策に見えますが、パラメータの継続的な更新は破滅的忘却を引き起こしやすく、新しく学んだタスクが以前のタスクの性能を大きく劣化させます。ICLだけに頼る場合も、保持できるのはコンテキストウィンドウ内に限られ、セッションが終われば短期的な情報は失われます。
Google ResearchのAli Behrouz氏とVahab Mirrokni氏らが発表したのは、能動的な「覚醒」フェーズと「睡眠」フェーズを周期的に切り替える継続学習の枠組みです。睡眠フェーズでは新しい入力の処理を止め、内部の計算を記憶の固定と自己改善に振り向けます。名称は神経科学から借りていますが、固定のモデルアーキテクチャと人間が定義した学習ルールの範囲内で動作すると説明されています。
睡眠フェーズの2段階
睡眠フェーズは「記憶の固定(memory consolidation)」と「dreaming(夢)」の2段階で構成されます。記憶固定ではMixture-of-Experts(MoE)とHopeアーキテクチャを用い、新たに開放した低ランクのエキスパートを、安定した低頻度のメモリブロックに統合します。これにより古いパラメータを壊さずに新しい知識を書き込む仕組みです。
上位の層にある脆弱な短期記憶は、新たに拡張した長期パラメータへ「知識の種まき(上方蒸留)」として移されます。ここではGeneralized Knowledge Distillation(GKD)と強化学習ベースの模倣学習を組み合わせ、自己サンプリングした系列でのオン方策蒸留と、レーベンシュタイン距離に基づく報酬による模倣学習が使われます。固定が完了すると高頻度の一時パラメータはリセットされ(シナプス刈り込み)、次のセッションのための容量が空きます。
「夢」の段階では、MoEのルーターが通常とは異なるエキスパートを意図的にランダム起動し、領域をまたいだ知識の組み合わせを促します。モデルは合成の訓練サンプルを生成し、勾配ベースのデータ選択で能力向上への寄与が大きいものを優先します。選ばれたサンプルで教師あり微調整を行い、下流タスクの性能が上がるかを評価します。
ベンチマークでの結果
継続翻訳では、マンジュ語やカラマン語のような未知の言語であっても、多段階の評価で性能低下がほぼゼロだったと報告されています。一方、ICL、Cartridges、SFTといった標準的な比較手法は、逐次学習の過程で深刻な破滅的忘却を示しました。
長文理解のBABILongベンチマークでは、睡眠時の固定によって長文情報をパラメータ記憶に圧縮し、1000万トークンまでほぼ完全なスケーリングを達成したとしています。この結果はGPT-4やTitansといった比較対象を上回るものです。事実知識の取り込みでは、SQuADを使った単一タスクで48.9%、継続事前学習(CPT)で46.2%を記録し、ベースモデルやSFT、SEALを上回りました。
数学推論では、AIME 24/25とHMMT 25でそれぞれ79.2%、69.0%、46.1%の正答率が示されています。SFT、GRPO、OPSDを上回る結果で、記憶固定と模倣学習を組み合わせることが推論性能の改善につながることを示唆しています。
理論と留意点
理論面では、知識の種まきを構造化された低ランク圧縮の問題として捉える分析が示されています。短期記憶の細部をすべてコピーするのではなく、モデル自身の振る舞いと意味的な性質の両方を保つ少数の方向を見つけるという考え方です。パラメータ拡張は、既存の知識を上書きせずに選んだ記憶を書き込むための容量を提供します。
「夢」については、ランダムなエキスパート起動と報酬ベースのサンプル選択が、学習の勾配の幾何を改善する仕組みとして説明されています。勾配の方向が少数に偏らず条件が良くなることで、能力を洗練させる際に安定した進歩が期待できるとしています。
ただし提示されているのは研究ブログ上の実験結果であり、実際のサービスへの提供時期や商用利用の条件は示されていません。比較対象の具体的な数値は一部しか記載されておらず、あらゆるタスクで破滅的忘却を防げるかどうかも現時点では明らかではありません。
| 評価タスク | 睡眠フレームワークの結果 | 比較されたベースライン |
|---|---|---|
| 長文理解(BABILong) | 最大1000万トークンまでほぼ完全にスケール | GPT-4、Titans |
| 継続翻訳(未知言語) | 性能低下がほぼゼロ | ICL、Cartridges、SFT |
| 事実知識の取り込み | 単一タスク48.9%、CPT 46.2% | ベースモデル、SFT、SEAL |
| 数学推論(AIME 24/25、HMMT 25) | 79.2%、69.0%、46.1% | SFT、GRPO、OPSD |
alternating between active interaction and offline memory consolidation allows LLMs to continuously acquire new facts, retain long-context knowledge up to 10M tokens, and improve complex reasoning.
能動的な対話とオフラインでの記憶固定を交互に行うことで、LLMは新しい事実を継続的に獲得し、最大1000万トークンの長文知識を保持し、複雑な推論を改善できる。
今後の見通し
今後は、より多様なタスクでの検証や詳細な論文での報告が待たれます。特に、パラメータ拡張を繰り返したときのモデルサイズの増加やメモリ消費、睡眠フェーズにかかる計算時間が明らかになれば、実運用での現実性を判断できると考えられます。加えて、Googleの製品やAPIにいつ組み込まれるのか、外部の開発者が利用できる実装やオープンソース化が行われるのかも重要な判断材料になるとみられます。
日本の開発者・IT企業にとっての意味
LLMを業務システムに組み込む際、知識のカットオフやファインチューニングによる既存能力の劣化は日本企業でも共通の課題です。今回の枠組みは、配備済みモデルを止めずに新しい知識を取り込む方向性を示しており、社内文書や規程の更新を継続的に反映させたいユースケースと相性が良いと考えられます。一方でパラメータ拡張を伴うため、モデルサイズやメモリ、睡眠フェーズの計算コストが実運用上の制約になります。公開されているのは研究成果であり、すぐに自社環境へ導入できる実装ではない点には留意が必要です。今後のAPI提供や実装公開の有無を追う価値があります。
気になる点
- 睡眠フェーズを加えるのに、モデルの再設計は必要ですか
- 原文では、フレームワークは固定のモデルアーキテクチャと人間が定義した学習ルールの範囲内で動作し、コアのコードベースと設計を変えずに配備済みモデルが新しい事実を取り込めると説明されています。ただし具体的な実装手順や必要な前処理は示されていません。
- 1000万トークンの知識保持は実サービスでも使えますか
- これはBABILongベンチマーク上で示された結果です。実際のプロダクトへの適用方法や提供時期、料金については現時点で公表されていません。判断には追加の検証結果や実装の公開を待つ必要があります。
- 破滅的忘却は完全に防げるのでしょうか
- 原文では継続翻訳などで性能低下がほぼゼロだったと報告されていますが、すべてのタスクで保証されるとは述べられていません。理論面では勾配の条件が改善され、安定した進歩が期待できると説明されています。
用語解説
- 継続学習
- 配備後も新しいデータやタスクを順次学び続ける学習の枠組み。従来は学習と推論を明確に分けて扱う。
- 破滅的忘却
- 新しいタスクを学ぶことで、以前に学んだタスクの性能が大きく劣化してしまう現象。
- Mixture-of-Experts(MoE)
- 複数の「エキスパート」と呼ぶ小規模なネットワークを、入力に応じて使い分けるモデル構造。
- 知識蒸留
- 教師モデルの出力分布を生徒モデルに学ばせ、振る舞いを引き継がせる手法。
- レーベンシュタイン距離
- 2つの文字列の差異を、文字の挿入・削除・置換の回数で測る指標。
- 低ランク
- 行列をより少ない次元の積で近似する表現。パラメータを大きく増やさず容量を足せる。
出典
The sleep framework: A new way for LLMs to retain knowledge in continual learning
AI導入も顧問も、お任せください
何から手をつけるか、どこまでAIに任せるか。自社の業務に合わせて整理し、導入から運用まで伴走します。相談だけでも構いません。
AI導入について相談する