CMU発スタートアップSafeworld、生成AIロボットの安全性を第三者検証へ

何が発表されたのか

カーネギーメロン大学でSafe AIラボを率いるDing Zhao氏は、スタートアップ経営の経験が長いKyle Wong氏、機械学習エンジニアのSimo Rachidi氏とともにSafeworldを創業した。同社はステルス状態を解除し、Shine Capitalとa16z Speedrunが主導する1200万ドル超のシードラウンドを発表している。Box Group、カーネギーメロン大学基金、Innovation Endeavors、SV Angelも参加した。

背景には、ロボットの制御を生成AIモデルに任せる流れがある。生成AIは従来のアルゴリズムのように挙動を予測できないため、導入企業は「本当に安全なのか」を説明しにくい。Zhao氏は、安全性の課題を確率的なシステムのリスク評価と、利用者の信頼獲得という二つの部分に分けて説明している。

シミュレーションで検証

Safeworldの中心的な手法は、現実に近い人間モデルを配置したシミュレーションの中で、ロボットの制御システムを評価することだ。工場の曲がり角などをGenesisやMuJoCoといったモデル上にデジタルで再現し、評価対象のロボットを実際のソフトウエアで動かしたうえで、人間がロボットと遭遇するシナリオを数千通り実行する。自動運転のTeslaやWayveが、道路上で出会う予期せぬ事象への対応を検証しているのに近い取り組みといえる。

ただしロボットのほうが難しいとZhao氏は見る。ロボットは構造化されていない環境で動き、設置される施設ごとに安全基準も異なるためだ。Wong氏は、人間が箱を運んでいる場合にロボットが人を検知できるか、衝突を避けるにはどの速度や停止距離が必要か、といった問いに答える必要があると説明している。転倒のように実機では繰り返しにくい事象も、シミュレーションなら何度も試せる。

第三者検証という立場

Safeworldが作る仕組みは、ロボットメーカーが社内で使っているツールと重なる部分があると原文は指摘する。創業者らは、自社の専門性に加えて、第三者が検証することに意味があると考える。競合する企業同士でも安全性に関する情報を共有できるためだ。

導入事例として、産業規模の太陽光発電所でパネル設置を支援するロボットのAIを開発するGritt Roboticsが協業している。同社CTOのVishal Dugar氏は、多くのシステムでは数式を書いて形式的に安全を証明するのは非常に難しく、必然的に実証的な検証になるという認識を示した。人間はひざまずいたり立ち上がったり、転んだりしゃがんだり走ったりと姿勢が変わり、服装や体格、身長、肌の色も多様であるため、そうした違いをすべて考慮する必要があるという。

まだ固まっていない点

Safeworldもロボット分野の生成AIもまだ初期段階にある。同社は製品の形を模索中で、外部ユーザー向けのプラットフォームにするのか、サービス提供型にするのかを検討している段階だと原文は伝えている。Zhao氏は、導入を望む企業は状況対応のために対価を払う必要があるとして、収益化に自信を示した。

a16z SpeedrunのパートナーJonathan Lai氏は、ロボットが設計・配備されている今こそ業界の安全標準を作る時であり、家庭にロボットが入り子どもと衝突する事故が起きてからでは遅すぎると述べている。ただし、シミュレーションによる検証が実際の設置環境での安全性をどこまで保証できるかは、今後の導入事例を待つ必要がある。