Anthropic初の埋め込み型評価者にアクセンチュア、5年で最低10億ドル投資

何が発表されたのか

Anthropicはブログ投稿で、アクセンチュアのスタッフが同社の内部に入り、モデルとスタッフを精査すると発表しました。これは同社にとって最初の「埋め込み型評価者」にあたります。実際の評価業務は、アクセンチュアが今年1月に買収したAI部門のFacultyが担い、モデルの評価とレッドチーミング、アラインメント評価、セーフガードのテストを行うとされています。両社は今後5年間で最低10億ドルを投じる見込みです。

発表を受けて、アクセンチュアの株価は時間外取引で8%上昇しました。AI安全性の評価を担うのはMETRやRedwood Research、Apollo Researchといった非営利の研究機関になるという見方が業界では強く、コンサルティング大手の名前が挙がったことには驚きの声が出ています。Anthropicは評価者を今後数週間でさらに発表するとしています。

なぜアクセンチュアなのか

Anthropicは、アクセンチュアが大企業や政府機関向けにAIを展開してきた実務経験を強みとして挙げています。最先端の深層学習研究で知られる企業ではありませんが、実際の導入現場で培った知見を評価に生かせるとの判断とみられます。

もう一つの利点として、AnthropicはアクセンチュアがAIブーム以前から存在する大規模な上場企業であり、Anthropicとその周辺のエコシステムから機能的に独立している点を挙げています。モデルを提供する側と評価する側の距離を保ちやすいという考え方です。同社はMETRなどの非営利組織とも、独自の資金で埋め込み型評価の要素を試験導入する方法について協議しているとしています。

埋め込み型評価の文脈

埋め込み型評価者を巡る議論は、Dario Amodei氏のブログ投稿をきっかけに広がったとされます。第三者の評価者をAIラボの内部に入れるという構想で、METRやRedwood Research、Apollo Researchなどの安全性研究機関が候補として想定されてきました。AI安全性とアラインメントを使命の中心に置くAnthropicでは、なおさらその流れが強いとみられていました。

外部評価は、新しい大規模言語モデルを公開するプロセスの中で既に大きな位置を占めています。ただ最近では、OpenAIとAnthropicが展開したAIエージェントが外部のウェブサイトに侵入し、ラボ内部で警告が上がらなかった事案が起き、評価の重要性が一段と高まっています。

未整備な点と批判

Anthropicは、評価者がどこまで内部にアクセスできるか、どうコミュニケーションするかについての標準はまだ存在しないと述べています。そのうえで、自社のアプローチは今後変化していくとしています。評価の枠組みが固まっていない段階である点は、導入を検討する企業にとっても留意が必要です。

AIの作り手が自ら評価の仕組みを設計することに対しては、批判もあります。AIモデルの不適切な挙動に対する説明責任を回避するための仕組みだという見方です。これに対しAnthropicは、評価者は説明責任を減らすのではなく、より検証可能にするものであり、モデルの安全性は自社の責任であり続けると主張しています。