- 923職種のうち、5件以上のベンチマークが対応するタスクを持つのは208職種のみ
- 米国の労働時間の約9割は、既存ベンチマークのカバーが薄い業務に費やされている
- カバーはAI露出度が高く賃金総額が大きい職種に偏り、中間層の知識労働が薄い
何が公開されたのか
AI企業のMercorは、AIベンチマークが米国の経済活動をどれだけカバーしているかを可視化した「Benchmark Map」を公開した。米国労働省が整備する職種分類O*NETの923職種を22の職種ファミリーにまとめ、各職種のタスクがベンチマークでどれだけ扱われているかに応じて色分けしている。O*NETは全職種を通じて1万8,797のタスクを定義しており、同社はベンチマーク側のプロンプトをこれらのタスクに対応づけた。
結果として、923職種のうち5件以上のベンチマークプロンプトが対応するタスクを持つのは208職種にとどまった。22の職種ファミリーのうち6つには、そうしたタスクを持つ職種が1つもない。同社は、米国の労働時間の約90%がベンチマークでほとんど、あるいはまったく扱われていないタスクに費やされていると推定している。
ベンチマークの選定基準
分析の出発点は、品質と経済的な関連性を基準に選んだ29のベンチマークだ。公開性（少なくとも25の公開タスクがあること）、質問に答えるのではなく作業を遂行する「エージェント的タスク」であること、実企業で人やエージェントが頻繁に求められるタスクに似ていること、職種ファミリーごとの上限による経済的多様性、そして最先端モデルでもまだ飽和していない難易度、という5点を重視している。Mercor自身のAPEXベンチマークについては、非公開の評価用プロンプトにアクセスできるため対象に含めている。
同社はLLMを判定役（LLMジャッジ）として使い、各ベンチマークプロンプトを対応するO*NETタスクに割り当てた。この割り当てはAPEXベンチマーク上で人間の専門家によるタグと突き合わせて検証している。あるO*NETタスクが29のベンチマークのうち5件以上のプロンプトと対応づけられた場合に「カバー済み」とみなし、Hatgis-Kessellらの研究によるタスク別の労働時間シェアの推計と組み合わせて、経済全体のカバー率を算出している。
カバレッジの偏り
既存ベンチマークのカバーは偏っている。Eloundouら（2023年）のAI露出タグで「露出あり」とされたO*NETタスクは、「露出なし」のタスクに比べて約6倍ベンチマークに現れやすい。ソフトウェアエンジニアリングや財務分析のタスクが多く、トラック運転やガスプラント運用のタスクはほとんど含まれていない。
さらに、AI露出度を調整した後でも、賃金総額の大きい職種のタスクほど過剰に代表されている。O*NETが専門家の評価として付与しているタスク重要度（1〜5）で見ても、最重要とされたタスクは最下位のタスクに比べて約6〜10倍ベンチマークに現れやすい。原文は例として、AI露出度が同程度でも、弁護士のタスクは手厚くカバーされる一方、法律秘書や裁判所書記官のタスクはほとんどカバーされていないことを挙げている。
職種別スコアの試み
職種ごとにモデルの実力を測ることは、導入するモデルを選ぶ企業や政策立案者にとって重要だが難しい。単純に職種に関連するベンチマークプロンプトの平均を取ると、頻繁にベンチマークされるタスクに過大な重みがかかる。そこで同社は、O*NETのタスク単位で均等に重み付けした平均を試している。
試行はMercorのAPEXベンチマークを使い、投資銀行、法務、会計、ソフトウェアエンジニアリングの4職種を対象に行われた。財務・投資アナリストでは11タスク・176プロンプトが使われている。結果として重み付けの有無によるスコアの差は小さく、対象4職種に関連するO*NETタスクのうち3分の1未満しか加重スコアに含められるだけのカバレッジがないことも分かった。より大きなベンチマーク群に適用することが今後の目標とされている。
限界と注意点
同社は今回の結果を暫定的なものと位置づけている。カバー率の推計はすべて独自に選んだ29のベンチマークに依存しており、完全でも代表的なサンプルでもない。不完全なリストは経済全体のカバー率を過小評価する方向に働き、その偏りの大きさを見積もるのは難しいとしている。
職種ファミリーごとにベンチマーク本数の上限を設けた点も影響する。全体のカバー率推計はより正確になる一方、ソフトウェアエンジニアリングのように最もベンチマークが多い職種ファミリーではカバー率を過小評価する方向に偏る。また、飽和していないベンチマークを選ぶことで、LLMにとって簡単なタスクのカバー率を過小に見積もる可能性もある。「経済的な現実味」などの基準は形式化が難しく、選択に主観が入ることも認めている。
| 比較の軸 | 条件A | 条件B | 結果 |
|---|---|---|---|
| AI露出タグ（Eloundouら2023年） | 露出あり | 露出なし | 「あり」が約6倍収録されやすい |
| O*NETタスク重要度 | 最上位 | 最下位 | 最上位が約6〜10倍収録されやすい |
Our findings suggest that 90% of American working hours are spent on tasks with little or no coverage from existing benchmarks.
我々の発見は、米国の労働時間の90%が、既存のベンチマークではほとんど、あるいはまったく扱われていないタスクに費やされていることを示唆している。
今後の見通し
Mercorは今回の結果を暫定的なものと位置づけ、ベンチマークのリストを拡張するたびに更新するとしている。したがって、今後ベンチマークの本数と多様性がどこまで増えるかが、カバー率推計の妥当性を判断する材料になるとみられる。O*NETの重み付けによる職種別スコアも、対象となるベンチマークが十分に増えて初めて意味を持つ段階だ。日本の読者にとっては、経済全体のカバー率だけでなく、自社の業務に対応するタスクがベンチマークに含まれているかどうかを個別に確かめる視点が有用だろう。
日本の開発者・IT企業にとっての意味
日本のIT企業にとって、この分析は「ベンチマークのスコアが自社の業務性能をどこまで表すのか」を問い直す材料になる。原文が示すのは、ベンチマークがソフトウェアエンジニアリングや財務分析など一部の職種に偏り、賃金総額の小さい職種やAI露出度の低い職種のタスクがほとんど含まれていないという構造だ。エージェント導入を検討する際に汎用ベンチマークの数値だけで判断すると、実際に任せたい業務の性能を見誤る可能性がある。自社の業務をタスク単位に分解し、そのタスクに近い評価データが存在するかを確認したうえで、必要なら自前の評価セットを用意する進め方が現実的といえる。
気になる点
- このBenchmark Mapとベンチマークの選定基準は誰でも参照できるのか
- Mercorの研究ページで公開されており、ベンチマークの一覧と選定基準はBenchmark Indexタブにまとめられていると原文は説明している。一方、分析対象は米国労働省のO*NETに基づく米国の職種分類であり、日本の職種や業務をそのまま評価したものではない点には注意が必要だ。
- 「5件以上のプロンプトが対応すればカバー」という基準は妥当なのか
- 原文はこの閾値を分析上の定義として用いているが、5件という水準の妥当性を検証した結果は示されていない。限界の項では、リストが不完全であれば経済全体のカバー率を過小評価する方向に偏り、その偏りの大きさを見積もるのは難しいと述べられている。
- ソフトウェアエンジニアリングのカバー率は実際より低く出ていないか
- 原文はその可能性を明記している。職種ファミリーごとにベンチマーク本数の上限を設けたため、最もベンチマークが多い職種ファミリー（ソフトウェアエンジニアリングなど）ではカバー率を過小評価する方向の偏りが生じるという。全体のカバー率推計はむしろ正確になると同社は考えている。
用語解説
- O*NET
- 米国労働省が整備する職業情報データベース。923職種と、各職種を構成するタスクや重要度などを定義している。
- LLMジャッジ
- ベンチマークのプロンプトをO*NETのタスクに分類するために原文で用いられた手法。LLMに判定させ、一部は人間の専門家タグで検証している。
- エージェント的タスク
- 質問に答えたり助言したりするのではなく、モデル自身が作業を遂行する形のタスク。原文はベンチマーク選定の条件の一つとしている。
- ベンチマークの飽和
- 最先端モデルがほぼ満点に近づき、モデル間の性能差を測れなくなった状態。原文は飽和していないベンチマークを優先している。
- 賃金総額（wage bill）
- 職種ごとの平均賃金と就業者数から推計した金額。原文はBLSの推計を用い、週40時間労働を仮定している。
出典
90% of US working hours are spent on tasks not covered well by AI benchmarks
AI導入も顧問も、お任せください
何から手をつけるか、どこまでAIに任せるか。自社の業務に合わせて整理し、導入から運用まで伴走します。相談だけでも構いません。
AI導入について相談する