OpenAI、Computer UseをAgents APIに統合しDotsを発表

DevDayでの主な発表

OpenAIは開発者向けイベント「DevDay」で、Computer Useに関わる複数の発表を行った。新しいパーソナルアシスタント製品「Dots」、Computer Useに向く新モデル「GPT-6.1 Sol」、そして開発者が使えるAgents APIへのComputer Useの統合である。あわせて、画面上の文脈を素早くCodexやChatGPTに渡す「app shots」や、macOS上でネイティブにComputer Useを動かすデモも披露された。番組には、Computer Useの製品・エンジニアリングを率いるAri Weinstein氏が出演している。

Weinstein氏はGPT-6.1 Solについて、コストがAstraの5分の1、Computer Useに限れば7分の1になると説明している。コストと速度の面でComputer Useに向くモデルだという位置づけである。同氏はまた、開発者がCodexやChatGPTで使われているのと同じComputer Useの上に構築できるようになったことを、今回の重要な変化として挙げている。

DotsとクラウドLinux環境

Dotsの特徴は、各エージェントがクラウド上に自分専用のLinux仮想マシンを持つ点にある。Weinstein氏によれば、従来の製品はクラウド上のブラウザを使うか、利用者自身のコンピュータにアクセスするかのどちらかだった。Dotsでは仮想マシン上でフルデスクトップアプリケーションを動かしつつ、Webブラウザも使える。世界のソフトウェアは人間向けに設計されているため、エージェントが同じソフトウェアを操作できることが重要だ、というのが同氏の説明である。

具体的な利用例として、同氏は食事宅配サービスの注文を挙げている。グラム単位でカスタマイズできるサービスで、自分で操作すると2時間かかっていた注文が、Computer Useでは15分で完了し、8倍速かったという。番組ではほかに、カスタマーサポートへの問い合わせ、航空券の予約、買い物、ゲームなどが利用例として挙がっている。

Computer Useは180度変わった

Weinstein氏は、Computer Useは数カ月前とは「180度違う」と表現している。番組では、現代のエージェントはデバッグと失敗からの回復がはるかに得意になったこと、スクリーンショットとアクセシビリティツリー、DOM、Playwright、生成されたJavaScriptを組み合わせることで速度の式が変わることなどが、議論の論点として挙げられている。同氏は次のフロンティアを、ソフトウェア操作において文字通り人間を超える水準に置いている。

この主張は、Computer Useに対する批判的な見方への反論という位置づけでもある。番組は冒頭で、強化学習に関する記事や動画で知られるDwarkesh氏が公開した問題提起に触れ、それがComputer Useに関わる多くの人を動揺させたと説明している。ただし、Dwarkesh氏の具体的な主張の内容は原文では詳しく示されておらず、「Computer Useは大きく変わった」という立場から番組側が応じている、という構図が読み取れる。

開発者向けAPIの位置づけ

開発者にとって重要なのが、Agents APIにComputer Useが組み込まれた点である。Weinstein氏は、開発者がCodexやChatGPTで使われているのと同じComputer Useの上に構築できるようになったと説明している。OpenAIの製品内部で使われてきた操作能力が、外部の開発者にも開放されるという位置づけになる。

もう一つの発表がDecisions APIだ。同氏によれば、Decisions APIは推論を行わず、並列に推論を実行し、Computer Use向けのモデルより小さいモデルで構成されるため非常に高速である。一方で、長期的で複雑なタスクはやや苦手だとされる。両者をどう組み合わせるかは「まだ研究が開かれた領域」だと同氏は述べており、現時点で一方が他方を置き換える関係にはない。

現時点で不明な点

判断できない点も多い。番組ではComputer Useが一部のタスクで平均的な人間より速く完了できると述べられているが、それを示すベンチマークの数値は示されていない。また、支払いやWebサイト操作をエージェントに任せる際の信頼・権限・安全性は議論の論点として挙げられているものの、具体的な仕組みの説明はない。

APIの料金体系、レート制限、対応地域、日本語環境での挙動についても、この記事からは分からない。導入を検討する場合は、OpenAIの公式ドキュメントでAgents APIとComputer Useの提供条件を確認する必要がある。Dwarkesh氏の主張の詳細についても原文だけでは把握できず、元の動画や記事を確認する必要がある。