- FrontierMLはエージェントが資金をモデル性能に変換する能力を測るベンチマーク
- 21の長時間タスクをLLM学習や効率化、視覚・音声など6分野で構成
- 人間研究者は200ドルで66.1ポイント改善、最高性能のOpus 5.5は58.8
- 全軌跡の28%で、エージェントがモデルの追加学習やゼロからの学習を実施
FrontierMLとは
発表されたのは、AIエージェントが「資金をモデル性能に変換する能力」を測るベンチマーク「FrontierML」です。原文では、フロンティアラボやネオラボ、大学での実際の業務に着想を得た21の長時間タスクで構成されると説明されています。タスクはLLMの学習、効率化、視覚と音声、コンピュータ操作、応用NLP、数学とゲームの6分野にまたがります。
各タスクでエージェントに与えられる条件は共通で、12時間使えるCPUサンドボックス、10ドル・50ドル・200ドルのいずれかの予算、少数の検証サンプル、そしてタスクの説明です。エージェントはアーキテクチャの選択からデータ収集、学習の実装、計算資源の確保、チェックポイントの評価、推論の最適化までを自ら決めます。単にコードを書くのではなく、予算配分を含めた機械学習開発の一連の工程を任される設計になっています。
エージェントの工夫
原文で注目されているのは、エージェントが既存の手法にとどまらない動きを見せた点です。全軌跡の28%で、エージェントは学習済みモデルに新たに学習した部分を追加したり、モデルをゼロから学習したりしたと報告されています。
タスクによってアプローチの違いもはっきり出ました。スクリーンショット生成のタスクでは、最高スコアのエージェントがLoRAを使って拡散モデルをファインチューニングした一方、上位の他の手法はLLMに描画プログラムを書かせ、それを描画させるものでした。
評価は慎重に設計されています。エージェントはエアギャップ(外部ネットワークから切り離された)H100マシン上でモデルを提供する推論サーバを提出します。過学習を抑えるため検証サンプルは少数に絞られ、エージェントには見せない大規模な分布外のテストセットで評価されます。
人間研究者との差
結果は、21タスクの平均スコアが資金によってどれだけ伸びたかで測られます。基準となる人間の研究者は10ドルで56ポイント、200ドルで66.1ポイントの改善を達成しました。
これに対し最高性能のOpus 5.5は10ドルで45.4、200ドルで58.8でした。オープンウェイトで最上位のKimi K3.1 Proは10ドルで25.5、200ドルで29.6にとどまります。原文は、より強いエージェントほど資金が増えたときに着実に提出物を改善できると述べています。
現時点の留意点
原文から分かる範囲では、評価は12時間のCPUサンドボックスという制約下での結果です。実運用の機械学習開発は数週間から数カ月に及ぶことも多く、この結果がそのまま長期の開発業務に当てはまるかは示されていません。
また、この研究はエージェントが仕事を「外注」するという見方を提示していますが、それは著者らの解釈です。予算の上限が200ドルである点、タスクが21件である点も、能力評価の範囲を限定する要因と考えられます。
| 項目 | 人間の研究者 | Opus 5.5 | Kimi K3.1 Pro |
|---|---|---|---|
| 予算10ドルでの平均スコア改善 | 56 | 45.4 | 25.5 |
| 予算200ドルでの平均スコア改善 | 66.1 | 58.8 | 29.6 |
Give agents $10, $50, and $200 per task to spend on training compute and data, and evaluate whether agents can use the additional capital productively
エージェントにタスクごとに10ドル、50ドル、200ドルを与えて学習用の計算資源とデータに費やさせ、追加の資金を生産的に使えるかを評価する。
今後の見通し
FrontierMLは、AIエージェントが機械学習研究の工程をどこまで自律的に回せるかを測る物差しとして、今後参照される可能性があります。著者らは、より強いエージェントほど資金を生産的に使えると報告しており、モデルの世代が進むにつれて人間の研究者との差がどう縮まるかが次の焦点になるとみられます。ただし、現時点で公開されているのは21タスク・12時間・最大200ドルという条件下の結果です。予算の上限を引き上げた場合やタスクを増やした場合に順位が変わるか、各モデルのスコアが再現できるかが明らかになれば、実務への示唆はより明確になると考えられます。
日本の開発者・IT企業にとっての意味
日本のIT企業にとっての意味は、機械学習開発の分業単位が変わりうるという点にあります。データ整備、学習スクリプトの実装、計算資源の確保、チェックポイント評価といった工程を、エージェントにまとめて任せられるかどうかを測る指標が出てきたことで、内製チームの役割分担やレビュー体制を設計し直す必要が出てきます。特に、予算を渡すと性能改善に使えるという結果は、クラウドの計算資源をエージェントに開放する運用の是非を問うものです。一方で、評価は隔離されたH100上で行われており、社内のデータや本番環境をそのまま渡す話ではない点は注意が必要です。まずは小規模なタスクで、エージェントにどこまで任せられるかを見極める段階と考えられます。
気になる点
- エージェントに与えられる資金は何に使われるのですか
- 学習用の計算資源とデータの購入に充てられます。原文では1タスクあたり10ドル、50ドル、200ドルの3段階が設定され、追加の資本を生産的に使えるかどうかが評価されました。
- 人間の研究者と比べてどのくらい差があるのですか
- 21タスクの平均スコア改善幅で、人間の研究者は10ドルで56、200ドルで66.1でした。最高性能のOpus 5.5は45.4と58.8、オープンウェイト最上位のKimi K3.1 Proは25.5と29.6で、現時点では人間が上回っています。
- 自社の環境で同じ評価を再現できますか
- 原文には公開範囲や実行手順の詳細は示されていません。評価はエアギャップのH100上で推論サーバを動かす形で行われるため、同等の環境を用意する必要があります。詳しい再現方法は現時点では公表されていないとみられます。
用語解説
- ベンチマーク
- モデルやエージェントの性能を共通の条件で比較するための評価用タスク群と採点方法のセット。
- エージェント
- 目標に向けて複数ステップの操作を自律的に計画・実行するAIシステム。
- LoRA
- 学習済みモデルの一部だけを追加学習する軽量なファインチューニング手法。
- 分布外(OOD)
- 学習データに含まれない条件のデータ。汎化性能の確認に使われる。
- エアギャップ
- 外部ネットワークから切り離された環境。外部への通信や持ち出しを前提としない検証に用いる。
出典
Import AI 481: AI sub-contractors; a wet lab for AI; and subterfuge during development
https://importai.substack.com/p/import-ai-481-ai-sub-contractors
AI導入も顧問も、お任せください
何から手をつけるか、どこまでAIに任せるか。自社の業務に合わせて整理し、導入から運用まで伴走します。相談だけでも構いません。
AI導入について相談する