AlphaGo元開発者、LLMは推論していないと指摘し新方式を提唱

37手目は何だったのか

2016年3月、ソウルで行われた囲碁の対局で、筆者は自身が開発に関わったプログラムが第2局の37手目を打つのを見ました。この手は多くの解説者にとって不可解で、プログラムの不具合を疑う声もありました。しかしAlphaGoはその対局を制し、最終的に世界トップクラスの棋士である李世乭に4-1で勝利しました。李世乭は後に、AlphaGoを確率計算に基づく機械だと思っていたが、この手を見て考えが変わったと述べています。

筆者はこの手を「機械の直感」と説明する見方を誤解だとします。創造的な選択を可能にしたのはむしろAlphaGoの推論能力であり、現在のAIにはそれが欠けているというのが主張です。科学や医療で信頼できる結果と真に新しい知見を生むには、この種の推論能力が必要だと論じています。

AlphaGoの二つの仕組み

AlphaGoは二つのシステムからなります。一つ目のポリシーネットワークは、強い人間ならどの手を選ぶかを予測するよう訓練された「直感的」な部分で、37手目を特別な手とは見なしませんでした。熟練した人間が打つ確率はおよそ1万分の1と評価していたとされます。

37手目を選ばせたのは探索の仕組みでした。目先の妥当性を超えて候補手の将来の帰結を評価し、数千の枝を持つゲーム木を明示的に構築して探索したのです。行動科学では、速く直感的な「システム1」と、遅く段階的な「システム2」という二つの思考モードが知られています。AlphaGoはこの分業を機械で再現した例だと筆者は位置づけ、ネットワークが直感を、探索が熟慮を担い、どちらか一方だけでは37手目は選べなかったと説明します。

LLMの「熟慮」との違い

現在の大規模言語モデル（LLM）は、次のトークンを選ぶ処理を繰り返します。これはシステム1的な働きで、高速かつ連想的であり、人が書くほぼあらゆる主題についてパターンを補完することに長けています。

ChatGPTの登場後、言語の流暢さだけでは実用性に届かないことが認識され、問題を分解して中間ステップを生成するチェーン・オブ・ソートが導入されました。数学やコーディングでは実際に効果が確認されています。ただしAlphaGoの探索とは異なり、中間的な推論も同じ次トークン予測のプロセスが長く繰り返されるだけで、独立した推論機構が加わっているわけではないと筆者は指摘します。

推論と言えない三つの理由

筆者は、チャットボットの動作が科学者の言う推論に当たらない理由を三つ挙げます。第一に、モデルは明示的で永続的、かつ検査可能な認識状態を保持していません。検討中の仮説、説明ごとの確信度、吟味している証拠、未解決の問いを並べた台帳がなく、新情報に応じて体系的に更新されることもないという点です。

第二に、システムが何を知っているかと、その知識をどう操作するかが分離していません。知識と推論はニューラルネットワークの重みの中で不可分に混ざり合っており、独立して明示的に表現された信念の集合が存在しません。第三に、生成される思考の連鎖は熟慮のように見えても、実際には答えに到達した後に作られていることが研究で示されていると述べます。結論だけでなく結論への至り方が重要な医療や工学、科学研究では、この性質が問題になると指摘します。

提唱される新たな設計

筆者は最近Google DeepMindを離れました。AlphaGoのアーキテクチャに学ぶ、機械推論への新しいアプローチが必要だと考えたためです。AlphaGoはゲーム木という形で、ある局面について何を知っているかの記録を保ちます。検討した変化のそれぞれにニューラルネットワークの判断が付され、推論が進むにつれて更新され、最終的に統合されて次の一手が決まります。

汎用的な推論でも同様に、確定した事柄、疑っている事柄、排除した選択肢、未解決の問いを表す認識状態を維持すべきだと筆者は提案します。推論は、その状態を変えて知識を進め不確実性を減らす一連の操作として捉えられます。次にどの問いを立て、どの計算を行い、どの実験をするかを決めることも含まれます。LLMは既知の情報と利用可能な資源に基づいて問題への取り組み方を提案し、APIやコードを通じてツールとやり取りできるため、こうした一般的な推論に挑む能力が備わってきたと述べています。

もっとも、現実世界の推論は囲碁やチェスより難しいとされます。現状は部分的にしか分からず、取り得る行動の集合は広く可変で、行動の結果は確率的または未知です。加えて、システムを誠実に保つためには、各操作が実際にどれだけ不確実性を減らしたかを独立した部分が評価し、証拠に裏付けられたときだけ信念を更新する仕組みが必要だとしています。