
- OpenAIが事前学習の内部パープレキシティ値を公開し、業界共通の指標としての活用を提案
- GPT-3.5は約0.99、GPT-4は約0.91、現在は0.8未満。0.76付近で数学の画期的成果
- ラボ間比較の難しさや思考の連鎖を反映しない限界を挙げ、共通上限の策定を提言
何が発表されたか
OpenAIのチーフサイエンティストであるJakub Pachocki氏が、2026年11月22日に「Perplexity and Intelligence」と題したブログ投稿を公開しました。AIの進歩を測るうえで、事前学習のパープレキシティ(クロスエントロピー損失)をモデル開発者間の共通指標として確立すべきだという主張が中心です。あわせて、業界全体で共有できる安全基準の土台にしたいという狙いが示されています。
同氏は、自社の内部パープレキシティ測定値を公開する判断に触れています。競合他社に自社の立ち位置がより明確に伝わるという懸念はあるものの、業界横断で共通の安全策を整える緊急性のほうが勝ると説明しています。将来的に開発のペース配分を議論するための、共通の科学的基盤を築く第一歩と位置づけています。
パープレキシティとは何か
パープレキシティは、モデルが次のトークン(テキストを分割した単位)を平均してどれだけ正確に予測できるかを表す指標です。値が低いほど予測の精度が高く、実務では対数を取ったクロスエントロピー損失として追跡されるのが一般的だと説明されています。原文では、この指標が何年にもわたって進歩の主要な測定手段であり続けてきた点が強調されています。
測定に使うデータセットは、GPT-3.5以降はOpenAIの社内コードベースに由来する固定のスナップショットで、今回公表された数値もこれに基づきます。GPT-2やGPT-3については、学習データの性質上、コードの予測精度が汎用的な能力の代理指標として適切ではないという注意も添えられています。そのため本稿では両モデルの具体的な数値は示されていません。
数値と能力の関係
原文では、モデルの対数パープレキシティと発現する能力の対応が示されています。GPT-3.5は約0.99で流暢な会話が可能になり、当初のChatGPTの基盤になりました。GPT-4は約0.91で思考の連鎖(chain-of-thought)を生産的に使えるようになり、その後の推論モデルにつながったとされます。現在は0.8未満に達し、サイバーセキュリティや数学の分野で変革的な能力が現れているといいます。
さらに、対数パープレキシティが約0.76のモデルに切り替えたところ、数学の未解決問題に対して画期的な結果を出し始めたと報告されています。こうした能力が特定のしきい値に達した時点で現れることは事前には分からず、指標の進歩から立ち現れる潜在能力と捉えられている点が重要です。著者は、0.68〜0.7の範囲に入るとさらなる変革的な能力が現れると予想していますが、それが何かは分からないと明言しています。
AIが開発を加速する
著者は、AIが自身の開発に関与する度合いが高まっている点にも触れています。人間の研究者を代替する「完全な再帰的自己改善」は、人間の制御を保つ観点から避けるべきだとしつつ、その枠組みだけでは重要な点を見落とすと指摘します。注目しているのは、事前学習のアルゴリズム研究にAIが参加することで生じうる段階的な変化です。
数学では、モデルに未解決問題を解かせる取り組みを1年以上続けてきたといいます。対数パープレキシティ約0.76のモデルに切り替えたところ成果が出始め、長年考えられてきた問いの解決が短時間で連続して示されたと述べられています。この経験から、深層学習の研究でも同様の急変が起きうるとし、早ければ2027年にも事前学習の基礎的な進展が一気に進む可能性があるとしています。一方で、アラインメントや監視の進歩はそこまで速くならないとも見ています。
限界と提言
著者はパープレキシティを共通指標にするうえでの課題を4点挙げています。ラボごとに評価データセットや学習データの混合が異なり比較が難しいこと、パープレキシティが直接には実務タスクに対応しないこと、思考の連鎖のような事前学習以外の進歩を反映しないこと、そして到達しうる下限(データ固有のエントロピー)が分かっていないことです。
そのうえで、フロンティアモデルの開発者に対し、共有の評価規範や透明性基準を共同で整えることを提案しています。具体的には、パープレキシティなどの指標で共通の上限を定め、CoTモニター(思考の連鎖の監視手法)の後継にあたる手段ができるといった節目に達するまで、その上限を越えないことにコミットするという枠組みです。段階的に上限を設定し、開発ペースを調整する共通の枠組みにつなげたいとしています。
| モデル | 対数パープレキシティ | 原文で示された能力 |
|---|---|---|
| GPT-3.5 | 約0.99 | 流暢な会話。当初のChatGPTの基盤 |
| GPT-4 | 約0.91 | 思考の連鎖を productive に活用 |
| 直近のモデル | 0.8未満 | サイバーセキュリティや数学で変革的な能力 |
| 数学で成果が出たモデル | 約0.76 | 数学の未解決問題で画期的な結果 |
I believe tracking the pace of progress on training better compressors is key to understanding the arc of advances in AI.
より優れた圧縮器を訓練する進歩の速さを追跡することが、AIの進歩の道筋を理解する鍵だと私は考えている。
今後の見通し
今回公開されたのはOpenAIの内部数値だけで、他社のパープレキシティは示されていません。業界共通の指標として機能するかは、他社が同じように測定値を開示し、データセットの違いを埋める比較手法を確立できるかどうかにかかっています。著者が提案する共通上限も、具体的な数値や時期、拘束力の有無は示されておらず、今後の議論の行方が焦点になります。事前学習の進展が2027年にも加速するとの見立てが妥当かどうかは、対数パープレキシティの低下速度と、その先でどのような能力が報告されるかを見れば判断できるでしょう。
日本の開発者・IT企業にとっての意味
日本のIT企業にとって、この提言はモデル選定と安全性評価の両面で意味を持ちます。現在のベンチマークはGPT-4の頃に多くが飽和しつつあり、下流タスクのスコアだけでは世代間の差を捉えにくくなっています。事前学習のパープレキシティは、タスクに依存せず進歩を測れる指標として注目される可能性があり、基盤モデルを自社で学習・追加学習する企業にとっては、学習の進み具合を測る社内指標としても参考になります。ただし原文が挙げる通り、ラボ間の比較はデータセット依存で難しく、日本語データでの数値は公開されていません。調達やガバナンスの場面では、共通上限のような業界規範の動向を追う必要があり、自社の利用ポリシーをどう位置づけるかが実務上の論点になるとみられます。
気になる点
- パープレキシティが低いモデルほど実務タスクで優秀なのでしょうか。
- 原文は、パープレキシティが直接には実務タスクに対応しないと明言しています。思考の連鎖のような事前学習以外の工夫は、パープレキシティを下げなくても能力を大きく引き上げます。単独で優劣を決める指標ではなく、新しい能力が現れる可能性を測る補助的な物差しとして扱うのが原文の立場です。
- 日本企業が他社モデルと数値を比較することはできますか。
- 現時点では難しいとみられます。原文は、開発者ごとに評価データセットや学習データの混合が異なるためラボ間の比較が難しいと指摘しています。公開されているのはOpenAIが社内コードベース由来の固定データセットで測った数値です。他社が同様の数値を開示するかは現時点では公表されていません。
- 共通の上限は規制のようなものになりますか。
- 提案の段階であり、規制として決まったものではありません。原文では、フロンティアモデルの開発者が共有の規範を設け、パープレキシティなどの指標で上限を定めて、監視能力が一定の節目に達するまで越えないことに合意する枠組みが提唱されています。具体的な数値や対象範囲、拘束力については示されていません。
用語解説
- パープレキシティ
- モデルが次のトークンをどれだけ正確に予測できるかを表す指標。低いほど予測精度が高い。
- クロスエントロピー損失
- パープレキシティの対数として表される値。実務ではこちらで進歩を追跡することが多い。
- 事前学習(pretraining)
- 大規模な未構造データを用いてモデルの土台となる能力を獲得させる学習段階。
- 思考の連鎖(chain-of-thought)
- モデルが推論の過程を段階的に記述しながら解く手法。パープレキシティは下げないとされる。
- 再帰的自己改善
- AIがAI自身の開発工程を自動化し、人間の監督なしに改善を続ける状態。
出典
Perplexity and Intelligence
AI導入も顧問も、お任せください
何から手をつけるか、どこまでAIに任せるか。自社の業務に合わせて整理し、導入から運用まで伴走します。相談だけでも構いません。
AI導入について相談する