モデルルーティングが企業AIのコスト抑制に不可欠に、Glean CEOが実践を解説

モデルルーティングとは何か

フロンティアモデル各社の競争が激しくなる中で、Kimi K3やQwen3.8-Maxといったオープンウェイトモデルの性能も急速に向上しています。こうした状況を受け、モデルルーティングがAI導入の重要な要素になってきました。StripeがOpenRouterを70億ドル超で買収したことは記憶に新しいですが、同様の需要はエンタープライズ領域でも高まっています。

Gleanは大規模組織向けにAIを提供する企業で、CEOのアービンド・ジェイン氏は元GoogleのDistinguished Engineerです。同社は昨年6月のシリーズFで1.5億ドルを調達し、評価額は72億ドルになりました。今年は年間経常収益（ARR）が3億ドルに達し、15ヶ月で3倍に成長しています。この急成長の背景には、LLMを必要なタスクにだけ使う「節約志向」があるといえます。

Gleanの3段階モデル選択

Gleanが提供するモデル選択の仕組みは3段階です。社員が明示的にモデルを選ぶ方法、管理者がモデルを制限したり利用量の上限を設ける方法、そしてGleanの自動モードがタスクごとにモデルを動的に選ぶ方法です。ジェイン氏によると、顧客は主に経済的な理由から自動モードを選ぶことが多いといいます。

自動モードの効果について、共同創業者でエンジニアリング責任者のトニー・ジェンティルコア氏は、GleanはClaude Codeと比べて「4倍のコスト効率」であり、タスクあたり平均0.45ドルで、Claude Coworkの1.84ドルに対して優位だと主張しています。この差はハーネス（統合環境）とルーティング機能によるものとしています。

Waldoによる最適化

もう一つのポイントが、Waldoと呼ばれるモデルです。Waldoは4月に発表されたGlean初のエージェント検索モデルで、LLMの上位に位置づけられます。ユーザーの質問を分解し、どのツールを使うか、次に何を読むか、フロンティアモデルに引き継ぐ十分な証拠がそろったかを判断します。

この仕組みにより、タスクに必要な「原材料」をLLMトークンを消費せずに集めることができます。ジェイン氏は、より安いモデルが適切な文脈を持つことで、無関係なデータを読み込んだフロンティアモデルよりも良い結果を出せる場合があると指摘しています。コスト削減と品質の両立が、ルーティングの利点です。

オープンウェイト台頭

オープンウェイトモデルへの関心も、ここ数ヶ月で急速に高まっています。ジェイン氏によると、昨年はオープンソースLLMの利用はごくわずかで、米国外で開発されているという「stigma（汚名）」もありました。しかし、AIコストが高騰したことで、企業は「投資を維持するのが難しい」と感じ始めています。

オープンソースでタスク処理を行うコストは一桁安いとされ、多くの企業がAI戦略の要としてオープンウェイトモデルを検討しています。また、1社や2社のモデルプロバイダーに依存する姿勢はもはや通用しないという認識も広がっています。こうした動きが、モデルルーティングの需要をさらに後押ししています。

評価と学習の仕組み

モデルルーティングの品質を保つため、Gleanは評価（エバル）を重視しています。内部テストシステムでは、実際のワークロードをクエリクラスごとに比較し、ルーターが選んだモデルと、より安価または高価な代替モデルの両方で同じタスクを実行します。そして「AIベースの判定者」がルーティングの適切さを評価します。

評価は実トラフィックのごく一部で実施されますが、Gleanの規模なら学習に十分なデータが得られます。さらに、社員がどのモデルを最初に選び、不満があるときにどのモデルに切り替えたかという行動観察もフィードバックになります。この人間のフィードバックループが、ルーティングシステムの改善に役立っています。