LLMの誤答は「知識がない」からではなく「思い出せない」から—Google Researchが新評価手法を発表

研究の背景と目的

大規模言語モデル（LLM）が事実に基づく質問に誤答するとき、その原因は「その事実をそもそも学習していない」ことなのか、それとも「学習済みだが応答時に取り出せない」ことなのか。従来の精度指標はこの2つを区別せずに扱うため、改善策も曖昧になりがちだった。

Google Researchの研究チームは、この問題を「空の棚」か「失くした鍵」かの比喩で説明する。空の棚（エンコード失敗）ならモデル規模の拡大や学習データの追加が必要になるが、失くした鍵（想起失敗）なら推論時や後処理の工夫が有効になる。この区別を可能にする枠組みが「知識プロファイリング」だ。

知識プロファイリングの仕組み

知識プロファイリングは、個々の質問の正誤ではなく「事実」を単位とする。各事実について、（1）エンコード失敗（2）想起失敗（3）直接想起（4）思考を伴う想起（5）エンコードなしの推論、の5つのプロファイルに分類する。エンコードは事前学習で自然に現れる文脈で事実を再現できるか、知識は異なる言い回しや逆方向の質問に答えられるか、想起は知識がある事実を引き出せるか、として定義される。

評価用に構築されたWikiProfileは、Wikipediaから抽出した2,150件の事実で構成され、各事実に符号化・知識・認識を調べる10問が対応する。生成、洗練、フィルタリングの自動パイプラインを経て作られており、あいまいな質問や複数解がある質問は除外されている。

主な結果：想起がボトルネック

Gemini-3-ProやGPT-5といった最先端モデルでは、事実の95〜98%がエンコードされているにもかかわらず、直接想起できない事実が26〜34%もある。思考モードを使っても11〜12%の事実で失敗する。つまり、最先端モデルの事実誤りは「知識の欠如」よりも「知識を引き出せないこと」が主因になっている。

モデル規模の拡大もこの傾向を裏付ける。Gemma 3ファミリーでは、モデルが大きくなるほどエンコード失敗は減るが、想起失敗は依然として大きく、誤りのうち想起失敗が占める割合はむしろ増える。スケーリングは「蓄える知識」は増やすが「取り出す力」は十分に改善しない。

想起が失敗する理由と思考の効果

研究では、希少な事実と逆方向の質問に着目している。人気の低い事実のエンコード率は人気の高い事実とほぼ同等である一方、直接想起率は大きく低下した。また「AはBである」を知っていても「Bは何か？」という逆方向の質問に答えられない「逆転の呪い」は、選択肢から選ぶ認識タスクではほぼ問題にならないが、自由生成では顕著に難しくなる。これは知識の欠如ではなく想起の問題だと解釈できる。

思考（thinking）はこの想起失敗を部分的に回復する。思考最適化モデルでは、エンコード済みだが直接は想起できなかった事実の40〜65%が思考によって正答に到達した。一方、エンコードされていない事実に対する回復効果は5〜15%にとどまる。思考は主に記憶を引き出す補助手段として機能しており、多段階推論によって答えを導くわけではないことが示唆される。