Hugging Face政策責任者、AIベンチマークの再現性不足と評価者制度の課題を指摘

何が語られたのか

Hugging Faceの最高政策責任者であるアイリーン・ソレイマン氏が、TechCrunch Disruptの議論でAI評価（ベンチマーク）の現状について語った。AI企業はモデルの性能比較をベンチマークに依存しているが、その手法は複雑で、まだ成熟しきっていないというのが同氏の認識である。

同氏は、業界がベンチマークを将来にわたって信頼するには、評価をより一貫性のある科学にまとめ上げる必要があると述べた。個々のテストの妥当性だけでなく、テスト同士をどう比べるかという問題も残っている。

信頼の鍵は再現性

ソレイマン氏は「信頼」という言葉自体が重いと前置きしたうえで、結果を信頼できるかどうかの大きな要素として、評価結果を再現できるかどうかを挙げた。再現にはモデル本体へのアクセス権限が必要で、そこにオープンウェイト（モデルの重みを公開する形態）の重要性があるという。

再現性はベンチマークの中でも特に扱いにくい論点であり、業界で議論が続いている。同氏は評価手法について「互いを意味のある形で比較する方法が分かっていない」とも述べ、評価は比較的早く効果を失うと指摘した。

埋め込み型評価者への期待と疑問

こうした中で注目されているのが、中立をうたう第三者がAI企業の内部に入って評価する「埋め込み型評価者」の仕組みである。AI企業が安全上のインシデントに対応する中でこの構想が広がり、Hugging Face自身もそうしたインシデントの対象になったと記事は伝えている。

政府による規制ではなく第三者に委ねる動きがある一方、その中立性や実効性には疑問も残る。Anthropicが最初の評価者としてアクセンチュアを起用した判断には反発もあり、コンサルティング会社が適任かどうかを疑問視する声があった。

ソレイマン氏は、埋め込み型評価者のエコシステムへの需要は強いとしつつ、どのタスクで誰が有効な評価者かを決める資格や基準の標準化がもっと必要だと述べている。

評価対象はエージェント全体へ

評価はモデル単体のテストから、モデルの周囲を含むシステム全体のテストへ移りつつある。ユーザーがモデルにアクセスするためのツールである「ハーネス」はモデルの性能に大きく影響し、弱いモデルでも優れたハーネスと組み合わせれば最先端モデルを上回り得ると同氏は説明した。

ただしエージェント評価は「本当に難しく、本当に高コスト」だと同氏は述べる。モデル向けの評価は増えているが、ハーネス向けの評価は少なく、エージェント全体の評価は開発途上だという。

現状の評価領域は統制の効かない状態に近く、ベンチマークを業界の判断材料として使い続けるには、業界全体で足並みをそろえた、より統一的な枠組みが必要になる可能性がある。

残る不確実性

今回の発言は課題の整理が中心で、具体的な評価基準や標準化のスケジュールは示されていない。埋め込み型評価者の資格要件や、評価結果をどう検証するかの手順も明らかになっていない。

日本企業がベンチマークを導入判断に使う場合も、スコアの大小だけでなく、再現手順やハーネスの条件を確認する必要があると考えられる。ただし、そのための共通フォーマットが整うかどうかは現時点では見通せない。