ChatGPT開発者が非LLMモデル「Jev」を公開、確率を出力し幻覚なし

「Jev」とは何か

OpenAIでChatGPTの開発に携わり、その後にRLHF(人間のフィードバックによる強化学習)を考案したDiogo Almeida氏は、2年前にOpenAIを離れてTypeSafe AIを創業しました。同社は今週、トランスフォーマーベースの新しいモデル「Jev」を公開しました。Jevは大規模言語モデル(LLM)ではありません。文章を生成する代わりに、確率、同社が「キャリブレーションされた意思決定」と呼ぶものを出力します。

Almeida氏は、現在のAIが人間の言語に最適化されている点を問題視しています。同氏はTechCrunchに対し、人間の言語を扱う技術は4年間で非常に優れたものになったが、コンピュータは別の言語を話すため自動化には役立たない、という趣旨を述べています。言語を捨てることで、モデルは極めて安価で高速になると同社は説明しています。

安さ・速さ・幻覚なし

Jevの特徴は、ユーザーが出力を事前に定義する設計にあります。そのため、モデルが事実と異なる内容をもっともらしく返す「幻覚」が起きないとされています。出力トークンは無料で、入力トークンは百万単位ではなく十億単位で課金される点も、既存のLLMとは大きく異なります。用途としてはソフトウェア自動化が最も有望視されており、開発者はコードに知能を組み込むための安価で堅牢な手段と見ているようです。

開発者の関心は高く、需要が大きすぎたため、同社は一時的にAPIからユーザーにサービスを提供できない状態になったと報じられています。

開発者による検証

Vercelのソフトウェアエンジニア、Pranit Sharma氏によると、同社はコマンドの安全性をレビューする分類器にOpenAIの「ChatGPT Luna 5.6」を使っていました。これをJevに置き換えたところ、結果は5〜18倍速くなり、精度も向上したということです。

Bryo AIのCTO、Nikhil Mudholkar氏は業務メールの分類でJevとGeminiを比較しました。Geminiの方がわずかに精度は高かったものの、コストは10〜20倍だったとしています。同氏は、本物の確率を返すモデルはJevだけであり、ワークフロー自動化に理想的だと評価しています。

ジェヴォンズのパラドックス

Jevという名前は、19世紀の経済学者ウィリアム・スタンリー・ジェヴォンズに由来します。コストが下がると、かえってその利用が広がるという「ジェヴォンズのパラドックス」を踏まえた命名です。Almeida氏は、知能のコスト低下によって、現在主流の巨大アプリではなく初期のインターネットに近い形でソフトウェアが広く分散していくという見方を示しています。

JevはLLMの置き換えだけでなく、LLMの監視にも使えるとされています。エージェントの動作履歴(トレース)を追跡してジェイルブレイクを防いだり、入力に応じて処理を振り分けるモデルルーティングに使ったりする構想です。エージェントをエージェントで監視するとコストが膨らみますが、Jevなら現実的だとAlmeida氏は主張しています。EarendilのCTO、Armin Ronacher氏は、有用性が明らかになったことで競合が生まれるだろうと予想しています。

公開されていない部分

モデルのアーキテクチャは公開されていません。外部の観測者は、オープンウェイトのLLMの上に構築されていると推測しています。同社はJevを、推論よりも直感に焦点を当てた「システム1モデル」と呼び、合成データのみを使って「キャリブレーションされた意思決定からの強化学習」という手法で学習させたと説明しています。

また、LLMの監視に使う場合、幻覚の問題が利用者側に一部委ねられるという指摘もあります。Ronacher氏は、結果が50%の確率で返れば利用者がそれを無視し、95%なら処理に使うといった判断が必要になると説明しています。TypeSafeは今後、新しいモダリティのモデルも開発する予定です。