DeepSeek V4 ProとGPT-5.6 Sol、DeepSWEで性能とコストを比較

発表内容と測定条件

AIベンチマーク比較を手がけるTogether AIは2026年8月18日、DeepSeek V4 Pro 0813とGPT-5.6 Solをソフトウェア工学ベンチマークDeepSWEで比較した結果を公表した。DeepSWEは、さまざまなタスクとプログラミング言語にまたがるソフトウェア工学能力を測るベンチマークだ。この記事では、その結果の要点と実務への示唆を解説する。

比較はDeepSWEの全113タスクに対し、各モデルを4回ずつ試行する形で実施された。1回の試行は「ロールアウト」と呼ばれ、合計904回（各モデル452回）のロールアウトが行われた。実験は各モデルの最大設定（max）で統一され、結果は公開されている試行ごとの記録をもとに集計されている。

性能の詳細

単一試行での成功確率を示すpass@1では、Solが72.7%でProの62.8%を上回った。ただし、試行回数が増えると差は縮まり、2回試行のpass@2ではSolの81.0%に対しProが78.5%まで接近した。4回試行のpass@4ではProが88.5%となり、Solの85.8%を逆転した。

さらに、4回の試行すべてで成功したタスク数はSolが61件に対しProは35件で、Solは一度で正確に解く“精度”に、Proは複数回試行できわめて広い範囲を解く“リーチ”に優れている構造が見て取れる。この差は、pass@1とpass@4の順位が入れ替わる背景にもなっている。つまり、Proは何度も試せる状況ではより多くの問題を解ける可能性がある。

失敗時に既存テストを壊してしまう“回帰”の割合はSolが20%、Proが11%。Proの方が安全に失敗する傾向にある。Solの出力を取り込む際には、回帰を検出するゲートがより重要になる。

コストと速度

1ロールアウトあたりのコストはProが0.24ドル、Solが8.37ドルで、実に35倍の差がある。100ドルあたりの解決タスク数もProがSolの約30倍に達した。このコスト差は、大量の試行を伴うエージェント型ワークフローで決定的な意味を持つ。

速度もSolが勝り、中央値で17分・53ステップと、Proの35分・146ステップの半分以下だ。出力トークン数もSolの59kに対しProは101k。Solは高速かつ簡潔で、人間が待つ状況ではプレミアムに見合う価値がある。

一方、Proはコストが安いためバジェットやキューがボトルネックになる状況では圧倒的な選択肢になる。加えて、Proは複数回試行することでSolに迫る性能を発揮する。予算が限られる現場では、まずProを試す価値がある。

タスク別・言語別の勝敗

タスクの内訳をみると、Solはデータモデリングとシリアライゼーションで92%とProを28ポイント上回るなど、8ドメイン中6つで勝利した。Proが勝ったのはステートフルリアクティビティ（66対64）のみで、言語とランタイム内部は75-75の引き分けだった。Solが得意とするのは、正確なデータ形式やプロトコルの実装を要求される領域だ。

プログラミング言語別では、SolはPython 74、Go 79、TypeScript 66、JavaScript 75と4言語で制した。例外はRustで、Proが65対60で上回った。Rustを主に使うチームなら、はるかに安価なProに分があると言える。

ルーティングの効果と注意点

両者の相関はタスクごとの相関係数が0.54と中程度で、共通して解けるタスクも多い。Proだけが解けるタスクは10件、Solだけは7件、双方とも解けなかったのは6件。合わせて107件（94.7%）に達する。

ただし、ProはSolが全く解けないタスクを一掃できない一方、SolはProが一度も解けない2つのタスク（pebble-durability-wait-apis、textual-kitty-key-phases）を4回すべて成功させている。この非対称性は、Solを最終手段に置く理由の一つになる。Proの単独利用だけでは、Solにしか解けない問題に行き着く可能性がある。

そこで提案されるのが、まずProで解き、テストが失敗したときだけSolにエスカレーションするカスケード方式だ。この方式で83.0%を1件あたり3.35ドルで解決でき、Sol単体（72.7%、8.37ドル）より10ポイント高く、コストも半分以下になる。さらに、完璧なワンショットルーター（80.8%）すら上回る結果が得られた。独立した2回の試行が、完璧な1回の選択よりも良いというわけだ。

注意点として、この結果はDeepSWEという特定ベンチマークのものであり、実プロジェクトで同様の効果が出るかは追加検証が必要だ。特にSolの回帰率の高さを踏まえたテストゲートの設計が重要になる。また、Proを先に得ることで、Solの追加コストを最小限に抑えられるが、テストの品質が低い環境ではこの戦略は機能しにくい。