
- OpenAIが意思決定特化の「Decisions API」を全顧客に公開。9月29日に発表していた
- 中身はChatGPT Lunaの再設定で、処理時間を1〜3秒から100〜180ミリ秒に短縮
- 公開ベンチではTypeSafeのJevが優勢。OpenAIはマルチモーダルで差別化を狙う
全顧客への開放を発表
OpenAIは、意思決定に特化したモデルをAPI経由で提供する「Decisions API」を、すべての顧客が利用できるようにしました。9月29日の開発者向けイベントで発表し、その後、全顧客向けの提供を開始しています。公開版では音声と視覚のモダリティを追加し、世界各地で低遅延になるよう推論リソースを地理的に配置したとしています。
この分野は、フロンティアラボの元研究者が創業したTypeSafeが「Jev」で切り開きました。与えられた選択肢から素早く選び、その判断に確信度を添えて返す「スーパークラシファイア」として、深層学習モデルの新たなカテゴリを作っています。開発者らは、こうした「意思決定モデル」や「システム1モデル」が多くのワークフローでLLMを置き換えられると気づきました。処理は速く、コストは大幅に低いという点が支持されています。
中身はLunaの再設定
OpenAIのAPI製品責任者ニクンジ・ハンダ氏によれば、チームはJevを見て「数百万ものユースケースがある」と感じ、急いで自社版の開発に取り掛かりました。ただし、意思決定に特化して調整したモデルを新規に作ったわけではありません。ChatGPT Lunaを再設定し、推論を高速化してコストを下げたといいます。
ハンダ氏は、最大の変化は速度だと説明します。処理時間は1〜3秒から100、120、180ミリ秒に短縮されました。同氏は、将来的には専用のトレーニングでさらに改善できるかもしれないが、今は「普通のLuna」が仕事をこなしていると述べています。
導入企業の例としてBox、Datadog、Ramp、Speakが挙がります。AI語学チューターを手がけるSpeakのCTOアンドリュー・シュー氏は、操作間の時間が1.4秒から0.13秒に短縮されたと話しています。OpenAI自身も音声アシスタント「Dots」の応答性改善にこの製品を使いました。
ベンチマークでの位置づけ
ただし、何が良い意思決定モデルかを決める普遍的な基準は、まだ明確ではありません。知能、コスト、キャリブレーション、速度のどこを最適化するかはワークロードによって異なるためです。TypeSafeのCEOディオゴ・アルメイダ氏はベンチマークを信用せず、自らの業務で試すよう促しています。
公開指標では、AIM System One IndexとArtificial Analysis Decision Indexが、Liquidが直前に公開したD1 UltraとBase LabのElephant-1を高く評価しています。最新のJevはそれぞれ7位と3位で、OpenAIのDecision Modelは8位と14位でした。一方、OpenRouter上で最も多く問い合わせられているのは、現時点ではTypeSafeの製品だといいます。
意思決定モデルにPacManをプレイさせる「JevMan」というベンチマークでは、最新のJevが首位です。作成したOpper AIの成長責任者フェリックス・ヴンダーリヒ氏は、数百ミリ秒ごとに判断を迫られる点が、現実の意思決定に近いテストになると説明しています。
マルチモーダルと未知の部分
OpenAIが優位に立てる可能性があるのはマルチモーダルです。ハンダ氏は画像分類について「Lunaは非常に強力で、より良いキャリブレーションを示している」と述べ、顧客が画像を出力としても使えるよう柔軟化を求めていると付け加えました。
同氏はさらなる高速化の先にある用途も見据えます。60ミリ秒程度まで短縮できれば、動画のフレームごとにAPIを呼ぶような使い方が現実になるという考えです。
一方、料金体系や日本を含む各リージョンでの具体的なレイテンシ、モデルの学習内容の詳細は原文では明らかにされていません。導入判断には、自社のワークロードでの精度とコストを測る検証が必要になります。
| 項目 | OpenAI Decisions API | TypeSafe Jev(最新版) |
|---|---|---|
| AIM System One Indexでの順位 | 8位 | 7位 |
| Artificial Analysis Decision Indexでの順位 | 14位 | 3位 |
| 画像の扱い | 音声・視覚のモダリティを追加 | 画像とsmart-if文をサポート |
| OpenRouterでの利用状況 | 記載なし | 最も多くクエリされる |
The big unlock with Decisions API has been the speed, shrinking things from one to three seconds to 100, 120, 180 milliseconds.
Decisions APIの最大の突破口は速度でした。1〜3秒かかっていたものを100、120、180ミリ秒に縮めています。
今後の見通し
意思決定モデルは、速く安いほど利用が増えるという性質を持ちます。原文はJevの名前の由来として、資源をより効率的に使うほど、かえってその利用が広がるという説を唱えた経済学者を挙げています。ハンダ氏も、これまで表に出ていなかった「とんでもない数のユースケース」が可視化されていくと見ています。今後は各社の速度・価格・キャリブレーションをめぐる競争が進むとみられます。判断材料になるのは、実際の業務で精度とコストを測った事例の蓄積であり、公開ベンチマークの順位だけでは足りません。OpenAIが専用トレーニングに踏み切るかどうかも注目点となります。
日本の開発者・IT企業にとっての意味
日本のIT企業にとって、この発表は「LLMを使うほどでもない判断」を安く速く処理する選択肢が増えることを意味します。問い合わせの分類、ルーティング、エージェントの次の一手の選択、UIの細かな応答など、これまでレイテンシとコストを理由にLLMを避けていた処理を、100ミリ秒台で回せる可能性があります。Speakの事例のように、利用者が体感できる応答性の改善につながる点は大きいといえます。一方で、返ってくる確信度をそのまま業務のしきい値に使うには、自社データでのキャリブレーション検証が欠かせません。公開ベンチマークは指標によって順位が割れており、そのまま選定の根拠にはしにくい状況です。音声や画像を含む処理では、OpenAIのマルチモーダル対応が比較材料になります。
気になる点
- 日本からも低遅延で使えますか
- 原文では、世界各地で低遅延になるよう推論リソースを地理的に配置したとされています。ただし、日本国内での具体的なレイテンシ値は示されていません。実際の速度は自社環境での実測が必要です。
- 料金はいくらですか
- 原文に具体的な料金の記載はありません。OpenAIは高速かつ低コストだと位置づけていますが、単価や無料枠は現時点で公表されていません。
- 既存のLLMをそのまま置き換えられますか
- Box、Datadog、Ramp、Speakの初期トライアルでは、LLMを置き換えてスループットを高めたと報告されています。ただし適否はワークロード次第で、原文も普遍的な選定基準は未確立としています。
用語解説
- 意思決定モデル(System Oneモデル)
- 選択肢の集合を渡すと素早く1つを選び、確信度を返すモデル。汎用LLMより高速・低コストを狙う。
- キャリブレーション
- モデルが示す確信度と、実際の正解率がどれだけ一致しているかを表す度合い。
- 推論(インファレンス)
- 学習済みモデルに新しい入力を行い、出力を得る処理。本記事では応答速度の文脈で使われる。
- モダリティ
- テキスト・音声・画像など、モデルが入出力として扱うデータの形式。
- スループット
- 単位時間あたりに処理できる件数。同じ時間でより多くさばけるほど高い。
- OpenRouter
- 複数のモデルを共通のインターフェースから呼び出せるモデル配信サービス。利用状況の比較に使われる。
出典
OpenAI makes its Jev competitor widely available as decision model competition heats up
AI導入も顧問も、お任せください
何から手をつけるか、どこまでAIに任せるか。自社の業務に合わせて整理し、導入から運用まで伴走します。相談だけでも構いません。
AI導入について相談する