DeepSeek V4 Pro 0813とClaude Fable 5、DeepSWEでコスト90倍の差を検証

比較の概要

Together AIは、ソフトウェアエンジニアリングのベンチマークDeepSWEに含まれる113のタスクについて、DeepSeek V4 Pro 0813とClaude Fable 5を比較した。各モデルともmax設定で4回の試行を行い、合計904回のロールアウトから結果を集計している。Fableはこのベンチマークで最も高価なモデル、Proは最も安価なモデルの一つで、価格差は約90倍に達する。

この比較から分かるのは、単純な性能比較だけではない。両モデルの失敗パターンが大きく異なり、組み合わせることでカバー範囲が広がること、そして高価なモデルを常時使う必要がないことである。以下、性能・コスト・ルーティングの観点から詳しく見る。

性能: 初回はFable、再試行でPro

1回の試行で成功する割合を示すpass@1では、Fableが69.7%、Proが62.8%で、Fableが約7ポイント上回る。しかし、試行回数を増やすと状況は変わる。2回の試行では78.5%対77.1%とほぼ並び、4回の試行ではProの88.5%がFableの84.1%を上回る。高価なモデルであっても、再試行を許せば優位性は薄れる。

90倍の価格差は、100ドルあたりの解決数に明確に表れている。Proは100ドルで260タスクを解決するのに対し、Fableは3タスクしか解決しない。また、実行時間はFableの中央値が31分、Proが35分とほぼ互角で、価格差に見合う高速化もない。

失敗パターンの違い

両モデルとも既存テストを壊す頻度は低く、失敗時の11%に抑えられている。ただ、失敗の形態は異なり、Fableは大きな失敗(解決から大きく外れる)が18%、Proは10%と、Fableの方が修正に手間のかかる失敗をしやすい。逆に近いところまで正解に達する失敗はProが66%と、Fableの57%を上回る。

タスクの種類では、データモデリングやシリアライゼーション、Rustといった分野でFableが強く、Rustでは85%対65%と20ポイントの差がある。一方、並行処理と耐久性の分野ではProが58%対45%で上回る。TypeScriptでもProが61%対57%で勝っており、常にFableが必要というわけではない。

カスケード方式の効果

両モデルのタスクごとの成功率の相関は0.39で、これまで測定された中で最も低い。共通に解けるタスクは88件で、Proだけが解くのは12件、Fableだけは7件、両方解けないのは6件だけ。合わせて113件中107件をカバーする。

この相補性を生かすのが、最初にProを使い、テストが失敗した場合だけFableに切り替えるカスケード方式だ。この方式で、タスクの解決率は82.7%に達し、1件あたりのコストは8.28ドルになる。Fable単独の69.7%よりも13ポイント高く、コストもFable単独の21.63ドルの半分以下だ。順番を逆にすると同じ精度で21.71ドルになるため、順序も重要だ。

示唆

この結果は、Fableを常時使うことが正当化しにくいことを示している。Fableの強みはRustとシリアライゼーションに集中しており、その領域では価格に見合う性能がある。一方、Proは近い性能を低コストで提供し、再試行による精度向上も大きい。実際の開発では、コストを抑えつつ精度を高めるために、テスト結果に基づくルーティングが有効とみられる。