経験を進化する知識に変える、LLM推論時学習「EvoLib」

経験から学ぶLLMの新フレームワーク

Microsoft Researchは、大規模言語モデル（LLM）が推論中に自分の経験から学習できるようにする新しいフレームワーク「EvoLib」を発表した。このフレームワークは、過去の試行錯誤を再利用可能なスキルや洞察に変換し、将来のタスクに活用する。モデルのパラメータ更新を必要としないため、API経由で提供されるブラックボックスのAIモデルにも適用できるという。 従来のAIメモリは過去の会話や推論トレースをそのまま蓄積するだけだったが、EvoLibはそこから有用な知識を抽出し、新しい経験が来るたびに知識を洗練していく。この点が「記憶」と「学習」の違いを埋める試みだと位置づけられる。

記事では、人間は過去の経験のすべてを覚えるのではなく、有効な戦略や避けるべき失敗といった本質的な部分を学習し、それを一般化する仕組みを持つと説明している。EvoLibはこの人間の学習様式を模倣することを目指している。

知識を進化させる2つの仕組み

EvoLibでは、知識の単位として「成功した解決策から抽出された再利用可能なスキル」と「失敗から学んだ内省的な洞察」を扱う。新しい経験から知識が抽出されると、ライブラリ内の類似知識と統合され、より一般的で再利用しやすい知識にまとめられる。これにより、個別の経験を超えてタスク横断的に適用できるようになる。

また、各知識には重みが付けられ、現在のタスクでの即時的な有用性だけでなく、将来のタスクで有用な知識を生み出す貢献度も考慮して継続的に更新される。長期的に重要な知識が自然とライブラリの中で優先される仕組みだ。

既存手法を上回る性能

評価は、数学的推論の問題解決、効率制約下でのコード生成、長期的な意思決定を伴う環境探索という3つの異なるタスクで行われた。EvoLibは、検索ベースのメモリ手法や他の抽象メモリ機構と比較して、一貫して高い性能を示し、トークン使用量も効率的だった。

さらに、テスト時計算量を増やしたときの性能向上率もEvoLibが最も高く、タスクの順序がランダムでも安定した性能を維持した。これは、実世界のように多様なタスクが入り混じる状況での実用性を示している。

今後の展望と注意点

EvoLibは、AIシステムが展開後も継続的に改善・適応するための一歩と位置づけられる。毎回ゼロから始めるのではなく、進化するライブラリを基盤に知識を積み上げることで、人間のように学ぶAIを目指している。コードと実験結果はGitHubで公開されている。

ただし、この研究はまだ特定のタスクベンチマークでの評価であり、実運用のエージェントシステムでの有効性や、長期にわたる知識の劣化といった課題は今後の検証が必要とみられる。また、知識の統合や重み付けの設計がタスクやドメインに依存する可能性も考えられる。