Base Labs、Hugging Faceらとオープンモデルの安全標準づくりを発表

発表された内容

AI推論を手がけるBasetenは、社内の研究組織であるBase Labsとともに、オープンウェイトモデル向けの安全性評価・監視インフラを構築する取り組みを発表した。パートナーとしてHugging FaceとGoodfire AIが名を連ねている。Basetenはモデルを動かして応答を返す推論サービスを提供する企業で、Base Labsは同社が今年前半に立ち上げた研究組織だと説明されている。

Base Labsはオープンモデルの学習手法と監視手法を開発し、公開していく予定とされている。同社はこの取り組みを、事後に外付けするのではなく、モデルの学習と配備の工程に組み込まれた透明な「標準」として位置づけている。ただし現時点で公開されているのは方針と参加企業であり、具体的な成果物は示されていない。

背景にあるabliteration

オープンウェイトモデルは重みが公開され、誰でも入手・改変できる点が特徴だが、その安全性をめぐる議論が続いている。問題視されているのはabliterationと呼ばれる手法で、モデルに組み込まれた安全機構を取り除くことができ、結果として危険な使い方が可能な状態を作り出し得るという。記事は、モデルを公開するHugging Face上に6,000を超えるabliteratedモデルが並んでいることを伝えている。

一方で、abliterationの具体的な手順や、取り除かれた安全機構が実際にどの程度のリスクにつながるのかについては、この記事では詳しく説明されていない。数としての広がりは示されているが、被害や悪用の実例には触れられていない点は留意したい。

技術の中身は未公表

両社はパートナーシップが技術的にどう機能するのかを明らかにしていない。GoodfireはBasetenの投稿への返信で「安全性はオープンモデルに組み込まれ、それらを提供する者によって提供されなければならない」と目標を述べたとされている。

GoodfireはAIの「ブラックボックス」を開き、モデルがどう判断しているかを説明する技術を専門としている。記事は、Goodfireが「組み込む」部分を担う最有力候補だと見ているが、これは同誌の見方であり、役割分担が公表されたわけではない。評価指標や監視の実装方法、対象モデルの範囲は今後の公表を待つ必要がある。

企業の立場と資金

Basetenは6月に15億ドルのシリーズFを調達し、企業価値が130億ドルに達したとされる。シリーズFは、事業が成熟段階に入った企業が行う大型の資金調達の区分を指す。パートナーのGoodfire AIも、今年にB Capitalが主導した1億5,000万ドルのシリーズBを調達し、モデルの解釈可能性プラットフォームを進めている。

Basetenは開発者コミュニティーに広く参加を呼びかけ、「私たちは共に、すべての人が安全に使えるオープンモデルのエコシステムをつくっている」と述べたとされる。標準の具体的な中身や策定プロセス、スケジュールは示されていない。

「オープンさは安全の利点」という主張

同社はXへの投稿で「私たちは、オープンであることがAIの安全性にとって利点になると信じている」と述べている。オープンさはモデルの振る舞いに対する可視性を高め、安全研究を実行可能で透明な制御に変える手段を、クローズドソースよりも多く与えるという主張である。

これは、オープン性と安全性が対立するという一般的な見方に対する反論として読める。ただし、この主張を裏付ける検証データや評価結果はこの記事では示されていない。