LLMがニューラルネットの重みを直接編集、MIT論文を複数チームが再現

何が報告されたのか

MITの実験を起点に、フロンティアのLLMが小規模ネットワークの重みを勾配学習や外部ツールなしに直接生成・編集できるという報告が複数出ている。Alex Krentsel氏がMITの実験を再現したところ、モデルの世代間で能力の急激な跳躍が見られ、最新モデルが生成したBreakoutのネットワークはRLで学習したベースラインの最大22倍のスコアを記録したという。Hugging Faceも自社のオープンソースAI研究ハーネス「ML Intern」で論文を再現し、モデルとデモを公開している。

応用例も出ている。あるユーザーはFableに10万パラメータのネットワークを手書きさせ、実在する法律引用と偽物を見分ける分類器として、学習済みの版を上回ったと報告した。LegoraのCTOがこの結果を取り上げている。Simon Willison氏はノートPC上でQwen 3.8 27Bを使い、45分以上かけて同様の重み解釈を達成したと報告した。

Qwen3.5-0.8Bを書き換えた事例

最も具体的なのはGPT-6 AstraによるQwen3.5-0.8Bの編集で、バックプロパゲーション(逆伝播)を使わずに131,072個の重みを変更し、MATH-500の正答率を7.9%から48.1%に上げたとされる。

この結果について、Zhihu上にログからの再構成が投稿されている。それによれば、修復された579問のうち576問は、もともと32Kトークンの上限に達してループしていたものだった。Astraはループする文脈と生産的な文脈の対比から「反復方向」を導き、主に15層と19層のMLPにその方向を特定し、各層で上位64個の整列したニューロンから射影の6倍を差し引いたという。

結果として、1,152問のホールドアウト問題では正答率が10.6%から60.4%に上昇した。ただし再構成の分析は、利得の多くが「もともとあった推論力が最後まで走り切れるようになった」ものだと指摘している。

懐疑論と注意点

この話題には批判も多い。ベースラインが適切に取られていない、Qwenの結果は再帰的な自己改善ではなくバグ修正にすぎない、スレッド上の主張は過大だという指摘がある(paul_cal)。ベンチマークに対して直接重みを当てはめることは「本質的に無意味」だという指摘もある(dbreunig)。

仕組みへの疑問もある。モデルは主に、既知の入力と出力に対応する最初と最後の層を読んでいるだけではないかという問いだ(ravfogel)。一方で、本当の学びはコーディングエージェントがメカニスティック解釈可能性のツールをいかに有効に使うかにある、という見方もある(jbhuang0604)。

肯定的な枠付けも存在する。メタ学習がついに機能したのだと捉え、重みの最適化を構造化テキストの最適化として扱う見方だ。バックプロパゲーションと直接編集を交互に組み合わせるハイブリッドも提案されている(yoonholeee)。なお、元記事は前日の「Weight Space Programming」特集について、一部の主張が都合よく提示されていたと認めつつ、複数の独立再現があるため訂正や否定の記事にはしないとしている。