LLMがNN重みを直接編集する「Weight Space Programming」が登場

重みを直接読み書き

話題になっているのは、賢いモデルに、より能力の低いモデルのニューラルネットワーク重みを直接読ませ、編集させるという研究です。原文では、モデルのソースコードを見ずに、小さな実行ファイルの1と0の並びを直接見て動作を理解するようなものだと例えています。モデルの内部パラメータを操作対象にする点が、従来の学習コード生成とは大きく異なります。

報告されている例では、失敗した実行トレースを与えると不具合を一発で直せたほか、50ステップかけて全体として改善方向に導けたとされます。さらに、ネットワークの重みをゼロから一度に書き、独立に訓練された一部のモデルを上回った事例もあるとされています。ただし原文は、改善の一般性について「誇張の可能性がある」と留保しています。

従来のautoresearchとの差

比較対象として挙げられているのが、8カ月前にKarpathy氏が示したautoresearchです。これは十分に賢いモデルが計算クラスタ上で一連の実験を回し、人間の専門知識や介入なしにモデルを訓練できるという考え方です。ただし実際には、PyTorchやJAXのコードを書き、計算を実行し、loss曲線や評価を確認し、カーネルやデータを最適化する作業が必要でした。

Weight Space Programmingは、このコードレベルの試行錯誤を飛ばし、モデルの重みそのものを読み書きの対象にします。うまくいけば、学習スクリプトの生成やハイパーパラメータ調整を介さずに、下位モデルの振る舞いを直接変えられる可能性があります。原文は、この効率の高さが研究を急速に進める要因になるとみています。

RSI研究の0から1

原文は、この手法を再帰的自己改善（RSI）の新しい能力と位置づけています。RSIは、AIが自分自身や別のモデルを改善し、その改善を次の改善に生かすループを指します。重みを直接編集できるなら、実験コードを書くエージェントを介さずに改善ループを回せるため、研究の進め方が変わる可能性があります。

また、これは機械的解釈可能性の一種とみることもできます。機械的解釈可能性は、ニューラルネットワークの内部表現を人間が理解できる形にする研究分野です。原文は、独立した再現がすでに見つかったようだと述べ、この能力がゼロから一に進んだと評価しています。ただし、その再現の詳細や論文名は示されていません。

現時点の限界と注意点

現時点で対象になっているのは、簡単なゲームや強化学習のポリシーが中心とみられます。原文も、より高度なタスクにそのまま拡張できる可能性は低いとしています。大規模な言語モデルや実運用システムの重みを安全に編集できるかは、まだ示されていません。

加えて、重みを直接書き換える手法は、意図しない挙動や性能劣化を招くリスクを伴います。原文では、編集後の検証方法や安全性評価、ライセンス面についての具体的な言及はありません。読む際は、事例の派手さだけでなく、評価対象の狭さと再現性を確認する必要があります。