- v5は知識労働・コーディング・科学・汎用の4分野を各25%で重み付けした指標
- 公開された図では8つのクローズドモデルがオープンウェイト最上位のKimi K3.1 Proを上回った
- 著者は単一指標への偏りを問題視し、コーディング特化型など複数指標の併用を提唱
v5で何が変わったか
Artificial Analysisが、フロンティアモデル向けの独立系評価指標「Intelligence Index」をv5に更新した。著者のNathan Lambert氏は、この指標を最新モデルの知能を測る独立系指標として最も著名なものと位置づけ、2番手にEpoch AIのCapabilities Index（ECI）を挙げている。同社はv5について「今日の実世界の利用を反映する」ものだと説明している。
v5は評価を4つの分野に分け、それぞれを25%ずつ重み付けする構成をとる。知識労働、コーディング、科学、汎用の4分野である。各分野には複数のベンチマークが割り当てられ、分野内でも配点が細かく決められている。
公表された新しいランキングについて、著者は「一見すると妥当」としつつ、GPT 6.1 TerraがClaude Fable 5.1を上回るなど、どのベンチマークにも見られるひずみの兆候があると指摘している。
オープンウェイトとの差
著者がこの記事を書くきっかけになったのは、v5上でオープンウェイトモデルとクローズドモデルのバランスを示した図だ。この図では、8つのクローズドモデルが、オープンウェイト側の最上位にあたるKimi K3.1 Proを上回っている。
著者は、これでオープンウェイトモデルの終わりだと見るのは誇張だとする一方、前バージョンの指標はオープンウェイトモデルを過度に持ち上げていたとも認めている。Kimi K3.1 Proの公開時の図を引き合いに、オープンウェイトモデルは有用だが、OpenAIやAnthropicの最上位モデルは柔軟性と信頼性で一歩先を行くと述べる。
オープンウェイトモデルが特に差をつけられているのが、Terminal-Bench-ScienceやCritPt v2といった科学系の評価だと著者は指摘する。ただしオープンウェイトモデルの価値はフロンティアで競うことではなく、推論需要の大きい領域をハードウェアのコモディティ価格に近づけることと、知能を自社データに特化して所有・制御できることにある、という整理を示している。
非公開ベンチマークへの移行
v5の発表では、プロンプトを公開しない「プライベートベンチマーク」への移行も示された。オープンウェイトのラボが公開ベンチマークに合わせて学習を最適化する「benchmaxxing」への対策という位置づけである。
著者はこの方向性を一定程度は妥当とみるが、全会一致ではないとも書く。プロンプトを隠すと、コミュニティが問題点を見つけてベンチマーク自体を改善する効果を失い、ベンチマーク作成者を全面的に信頼することになるためだ。著者は、多額の資金が動く以上、透明性を保ち多くの目でバグを見つけられる状態を好むと述べている。
著者はまた、評価におけるスコアの調整余地にも触れる。指標の作成者にはそれぞれ世界観があり、数値を自分の主張に合わせることは技術的に可能だという。どのベンチマークを指標に含めるかという選択自体が、その現れになる。
単一指標というジレンマ
著者の中心的な主張は、単一の数値に集約する指標の限界である。1つの数字は議論や比較を容易にするが、集約の方法には必ずトレードオフが伴う。モデルの能力が広がり続けるなかで、単一の知能指標の時代は徐々に終わっていくべきだというのが著者の見立てだ。
代替として著者が挙げるのが、異なる偏りを持つ指標を増やすことだ。コーディングに特化したCursorBenchのような例を挙げ、Vals AIやIntelligence.aiといった取り組みも育ちつつあるとする。ただし現状では、議論のシェアはArtificial Analysisに大きく偏っているとも指摘している。
著者は、Artificial Analysisのビジネスモデルがラボから検証料を得ていることにも触れる。公平性の面で最も信頼できるのは非営利団体や学術機関、CAISIのような政府機関だとしつつ、フロンティア評価の正確さではArtificial AnalysisやArenaのようなスタートアップを信頼していると述べ、トレードオフから逃れられないと結論づけている。
| 分野 | 比重 | 内訳（ベンチマークと配点） |
|---|---|---|
| 知識労働 | 25% | AA-Briefcase 15%、AutomationBench-AA 5%、GDP.pdf 5% |
| コーディング | 25% | FrontierCode 2.0 15%、Terminal-Bench 4.0 10% |
| 科学 | 25% | Terminal-Bench-Science 15%、CritPt v2 hard subset 10% |
| 汎用 | 25% | AA-Omniscience v1.1 15%（正確性10%、非ハルシネーション5%）、HLE-Diamond 10% |
The benchmarking industry comes down to trust. I have a solid amount of trust for Artificial Analysis, but not the most I do for anyone in the ecosystem.
ベンチマーク産業は結局のところ信頼の問題だ。私はArtificial Analysisをかなり信頼しているが、エコシステム内で最も信頼しているわけではない。
今後の見通し
著者は、2〜3ヶ月後の次の主要モデルサイクル（GLM 6やKimi 3.5）で、オープンウェイトの主要ラボがこの指標で大きく前進し、多くの観測者を驚かせるとみている。指標の側では、コーディング特化型など異なる偏りを持つ評価がどこまで浸透するかが焦点になる。オープンウェイトモデル側の供給力、具体的には計算資源の価格や企業への普及度がどう変化するかも、指標の妥当性を判断する材料になるとみられる。v5のスコアを過去バージョンと直接比較できるかは、現時点では明らかにされていない。
日本の開発者・IT企業にとっての意味
日本のIT企業がモデル選定やPoCの判断でIntelligence Indexのような単一スコアを参照する場合、v5の分野別の重みを確認する価値がある。コーディングが25%を占め、その内訳も公開されているため、自社のユースケースに近いサブスコアを追える。一方、日本語処理や国内業務データでの性能はこの指標に含まれないため、社内評価セットでの確認は引き続き必要になる。プライベートベンチマークへの移行が進むと、第三者が問題点を指摘して改善する経路が細り、ベンダー側の発表値をそのまま受け取るリスクが増す。オープンウェイトモデルを内部データで追加学習して使う戦略では、順位よりも推論コストと保守性が判断軸になるとみられる。
気になる点
- モデル選定でIntelligence Indexだけを見ればよいですか
- 著者は単一指標への偏りを指摘し、コーディング特化型など別のバイアスを持つ指標を増やすべきだと述べている。用途に近い分野別スコアを確認したうえで、実タスクでの検証を併用するのが妥当とみられる。
- プライベートベンチマークとは何ですか
- プロンプトを公開せずに行う評価のこと。オープンウェイトのラボが公開ベンチマークに最適化している可能性への対策として導入された。ただし著者は、コミュニティが問題点を見つけて改善する効果を失う点を懸念している。
- オープンウェイトモデルはもう追いつけないのですか
- 著者はそうした見方を誇張だとしており、次のモデルサイクルで主要なオープンラボがこの指標を大きく改善するとみている。一方で、科学系評価など一部の領域で差があることは認めている。
用語解説
- ベンチマーク
- モデルの能力を測る標準的な試験問題群。スコアで比較できるが、出題内容と配点の設計に強く依存する。
- オープンウェイトモデル
- 学習済みの重みが公開され、自社環境での運用や追加学習ができるモデル。クローズドAPI専用モデルと対比される。
- benchmaxxing
- ベンチマークの出題傾向に合わせて学習し、実力以上にスコアを上げる行為。著者はオープンラボの一部が行っていると見る。
- ハルシネーション
- モデルが事実と異なる内容をもっともらしく生成してしまうこと。v5では非ハルシネーションが配点に含まれる。
- RL環境
- 強化学習でモデルを訓練するための模擬環境。評価と近い分布の環境を用意できるかが性能差に影響する。
出典
Artificial Analysis v5 and the benchmarker's dilemma
https://interconnects.ai/p/artificial-analysis-v5-and-the-benchmarkers
AI導入も顧問も、お任せください
何から手をつけるか、どこまでAIに任せるか。自社の業務に合わせて整理し、導入から運用まで伴走します。相談だけでも構いません。
AI導入について相談する