METRがAnthropic社内を11週間調査、AIによる研究開発加速の実態を報告

11週間の社内調査で分かったこと

AI安全性の研究組織METRが、Anthropicの協力を得て社内で11週間の調査を行い、AI研究開発に関する評価報告書を公表しました。報告書によると、Anthropicのモデルの性能は1年前と比べて約2倍の速さで向上しており、減速する兆候はほとんど見られないといいます。ベンチマークスコアは「Anthropicが過去1年で約2年分の歴史的進歩を遂げた」ことを示唆しているとされています。

注目されるのは、この加速が単に計算資源を増やした結果ではないとMETRが「確信している」と述べた点です。10月時点の加速の大部分は「AIによるもの」で、その寄与は時間とともに大きくなっていると分析しています。Slackでの非公式な投票や従業員へのインタビューも、相応の生産性向上を示す裏付けになったと報告書は記しています。

人間の支援から自律へ

現時点では、加速の中心は人間の研究者をAIが支援する形にあります。しかしMETRは「完全自律的な貢献が近い将来により大きな役割を果たす兆候がある」と警告しています。収穫逓減や、さらなる加速を妨げるような明確なボトルネックは確認されなかったとも述べています。

従業員は、Anthropicの社内で最も高性能なモデルを使うことで、AI支援がない場合と比べて平均で約12倍生産的になったと自己申告しました。これは数か月前にMythos 5を使っていた時点の報告の約2倍にあたります。ただし自己申告に基づく数字である点には留意が必要です。

未公開の3モデルと黒塗り

METRは、過去6か月の間にAnthropicが学習を終えながら未公開のままにしているモデルが3つあることも明らかにしました。コードネームはModel 2、Model 3、Model 4で、学習完了はそれぞれ7月、8〜9月、9〜10月とされています。2022年まで遡る「Unreleased 2022」というモデルの存在も確認されたといいます。

AnthropicはMETRに対し、非公開の研究情報やモデル性能データ、従業員インタビューなど多くの情報を提供しました。METRは「当初の想定を超える情報が共有された」と評価しています。ただし無制限のアクセスではなく、データ提供の依頼の一部は拒否され、情報の経路は「比較的狭かった」と報告書は記しています。

さらにAnthropicは、METRの最終報告書から情報を削除する権限を持ち、それを広く行使しました。約100ページの完全版のうち、METRが最も情報量が多いと考える証拠の大半が公開版では黒塗りされています。Anthropicは、公開すると競合に有利になるためだと説明したとされています。

安全性との矛盾を問う声

報告書の公表は、AI安全性の研究者や評論家の強い反発を招きました。Anthropicは安全性と責任ある開発を最も積極的に訴えてきた企業の一つであり、CEOのDario Amodei氏も公の場で開発の減速を呼びかけてきたからです。それにもかかわらず、同社自身がその技術の加速を進めているように見える点が批判の的になっています。共同創業者のSam McCandlish氏はXへの投稿で、黒塗りが多いことを認めつつ、加速の要因を明かすのは商業的に機微で、他社に追随の道筋を与えることになると説明しました。

Apollo ResearchのMarius Hobbhahn氏は、2027年初頭に自己改善に向けた重要な突破が起きるとするシナリオ「AI 2027」の予測より速いペースだと指摘しました。GovAIのAlan Chan氏は、AIによるAI開発の加速に懐疑的な立場の人々が考えを改める契機になると述べています。一方、AI Futures ProjectのDaniel Kokotajlo氏は、他社が速くなることを黒塗りの理由に挙げるのは筋が通らないと批判しました。AnthropicはThe Vergeの質問には答えず、McCandlish氏の投稿を案内したとされています。