- AIUCがRibbit Capital主導で4,000万ドルのシリーズAを調達、累計は5,500万ドル
- SOC 2を手本にしたAIエージェント認証標準AIUC-1を提供
- 約5,000項目のテストを実施し約100ページのレポートを作成
何が発表されたのか
AIエージェントの安全性を企業向けに評価する新興企業、Artificial Intelligence Underwriting Company(AIUC)が9月15日、Ribbit Capitalが主導しFirst Harmonicが参加する4,000万ドルのシリーズAを発表した。創業者はRune Kvist氏とRajiv Dattani氏で、Kvist氏はAnthropicの初期社員、Dattani氏はAI安全性研究機関METRの元COOを務めた人物だ。両氏は義理の兄弟の関係にあるという。これに先立ち、Nat Friedman氏のファンドNFDGから1,500万ドルのシード資金も調達しており、Emergence、Terrain、Anthropic共同創業者のBen Mann氏らが参加した。累計調達額は5,500万ドルになる。
AIUCは顧客としてCursor、Lovable、Harvey、ElevenLabsの名前を挙げている。Kvist氏は、AIが賢くなるほど導入も制御も難しくなるという認識を示した。同氏によれば、銀行や病院、政府、軍がAI導入を見送る理由はモデルの賢さではなく、顧客に対してそのシステムが何をして何をしないかを約束しているのに、それを保証する手段が現状ないことだという。
AIUC-1という標準とテスト
AIUCの中核は、サイバーセキュリティの分野で広く採用されている標準SOC 2を手本にしたAIUC-1という標準と、エージェントをこの標準に照らして検証するテストサービスだ。標準の策定にあたり、同社はセキュリティとリスク管理の責任者約250人によるコンソーシアムを組織した。Dattani氏によれば、これらはエージェントの買い手にあたる人々で、毎月会合を開き、エージェントを購入する際に何を確認したいかを聞き取ったという。そのフィードバックがテストの内容を形づくっている。
テストは約5,000項目にわたり、ジェイルブレイク、ハルシネーション、データ漏洩を含むシナリオでエージェントの挙動を調べる。結果は約100ページのレポートにまとめられ、どこで安全かつ信頼性高く動作し、どこに懸念があるかを示す。テストの実行とデータ分析にはAIエージェントとAIを使い、最終的な監査は人間が検証するとKvist氏は説明している。
METRとの違いと位置づけ
Dattani氏はMETRで2024年から2025年までCOOを務め、現在も理事を続けている。METRはフロンティアラボ向けに類似のテストを提供しているが、最近までその焦点は主に性能、つまりエージェントがタスクを確実に完了できるかに置かれていた。OpenAIがHugging Faceのインシデントを調査する際に用いた独立系研究機関の一つでもある。
Anthropic CEOのDario Amodei氏は最近、悪質な挙動のインシデントが急増しているとして、フロンティア開発のペースを抑えるよう業界に呼びかけた。その投稿で同氏は、フロンティアラボに第三者評価者を常駐させて安全性を観察・検証させる案を示し、候補の一つとしてMETRの名前を挙げている。AIUCは顧客サイトへの常駐を提案しているわけではないが、企業にエージェントの安全性について独立した評価を提供するという発想は近い。
Dattani氏は、どこで合格しどこなら信頼できるか、どこに懸念があるかを示し、購入を決める前にその情報を把握してもらうことが目的だと述べている。
現時点で分かっていないこと
AIUC-1がどの国や業界で通用するのか、日本語を含む多言語環境のエージェントをどう評価するのかは原文で触れられていない。認証にかかる費用や所要期間、有効期限、レポートの公開範囲も明らかにされていない。調達した資金の使途についても言及はない。
テストの実行と分析にAIを使う点について、その評価自体の信頼性をどう担保するかは今後の論点になりそうだ。原文では最終監査を人間が検証するとされている。また記事は、Anthropicの研究者Jacob Coxon氏がこの10年の終わりまでにAIが人類を殺しうるという懸念から退職した出来事に触れているが、AIUCの取り組みとの直接の関係は示されていない。
| 項目 | AIUC | METR |
|---|---|---|
| 主な対象 | 企業とAIモデル・エージェント開発企業 | フロンティアラボ |
| 主な焦点 | エージェントの安全性の第三者認証 | エージェントの性能(タスクの確実な完了) |
| 提供物 | 標準AIUC-1とテストサービス | 性能を中心とした評価テスト |
AI is getting smarter at an increasingly rapid rate. The surprising thing about AI is that it becomes harder to adopt and harder to control as AI gets smarter, not easier.
AIはますます速いペースで賢くなっている。意外なのは、AIが賢くなるほど導入も制御も難しくなるという点で、簡単にはならない。
今後の見通し
AIUCは4,000万ドルのシリーズAを調達したばかりで、資金使途や製品ロードマップは公表されていない。今後はAIUC-1を取得する企業が増えるか、約100ページのレポートが実際の調達判断に使われるかが焦点になるとみられる。加えて、Amodei氏が示した第三者評価者を常駐させる案が規制や業界慣行として具体化すれば、第三者認証の需要はさらに大きくなる可能性がある。逆に、認証の取得コストや有効期間、評価の再現性といった情報が示されなければ、SOC 2のように調達要件として定着するかどうかは判断しにくい。
日本の開発者・IT企業にとっての意味
AIエージェントを製品に組み込む企業にとって、第三者認証の存在は調達判断の材料になり得る。SOC 2がクラウドサービスの選定で事実上の共通言語になったように、AIUC-1が同様の位置づけを狙っているとみられる。日本のIT企業がエージェントを提供する側であれば、取引先から安全性の説明を求められる場面が増える可能性がある。導入する側であれば、5,000項目のテストと100ページのレポートがどの程度実務の意思決定に使えるかを見極める必要がある。ただし、認証費用や審査期間、多言語対応は現時点で不明であり、日本企業がすぐに取得・活用できるかは判断できない。まずはAIUC-1のテスト項目とレポートの内容がどこまで公開されるかが注目点になる。
気になる点
- AIUC-1は日本企業でも取得できますか。
- 原文には対象地域や対応言語に関する記載がなく、現時点では公表されていない。AIUCは企業とAIモデル・エージェントを開発する企業向けのサービスと説明されており、顧客として名前が挙がっているCursor、Lovable、Harvey、ElevenLabsはいずれも海外企業だ。
- AIUC-1を取得すると何が分かりますか。
- 約5,000項目のテストを通じて、ジェイルブレイク、ハルシネーション、データ漏洩を含むシナリオでエージェントがどう振る舞うかが評価され、約100ページのレポートにまとまる。どこで安全かつ信頼性高く動作し、どこに懸念があるかが示される。
- METRとAIUCはどう違いますか。
- Dattani氏はMETRの元COOで、現在も理事を務めている。METRはフロンティアラボ向けにテストを提供し、最近まで主に性能面に焦点を当ててきた。AIUCは企業を対象に、SOC 2を手本としたAIUC-1という標準に基づく第三者認証を提供する点が異なる。
用語解説
- AIエージェント
- 自律的にタスクを実行するAIシステム。外部ツールやAPIを呼び出しながら目的を達成するものを指すことが多い。
- SOC 2
- セキュリティに関する第三者検証の標準として広く使われている枠組み。AIUCはこれを手本にAIUC-1を作った。
- ジェイルブレイク
- 対話AIの安全制約を回避させる入力。禁止された内容を出力させたり、制限を無効化したりする攻撃を指す。
- ハルシネーション
- AIが事実と異なる内容をもっともらしく生成してしまうこと。
- フロンティアラボ
- 最先端の大規模AIモデルを開発する研究機関や企業を指す。
- METR
- AIの安全性を研究する独立系の組織。フロンティアラボ向けに評価を提供している。
出典
Early Anthropic hire, former METR COO have found a way to rein in rogue AI agents
AI導入も顧問も、お任せください
何から手をつけるか、どこまでAIに任せるか。自社の業務に合わせて整理し、導入から運用まで伴走します。相談だけでも構いません。
AI導入について相談する