DeepSeek-V4 FlashはLunaの6分の1のコスト、カスケードで精度も上回る

比較実験の概要

Together AIは2026年8月6日、コーディングベンチマークDeepSWEを用いて、DeepSeek-V4 Flash 0731とGPT-5.6 Lunaを比較した結果を公開しました。実験は実在のオープンソースリポジトリから収集した113タスクを対象に、各モデルを4回試行し、隠しテストスイートで合否を判定する方式です。公開された記録によると、試行の総数は900ロールアウト（DeepSeek側452、Luna側448）に上ります。

この比較の目的は、どちらのモデルがリーダーボードの上位かを決めることではなく、価格差が実務上の選択にどう影響するかを検証することにあります。DeepSeek-V4 Flashは1タスクあたり約0.10ドル、GPT-5.6 Lunaは約0.61ドルで、およそ6倍のコスト差があります。記事は「単独でどちらが勝つか」ではなく、「6分の1の価格で何が得られ、何を失うのか」を問いかけています。

精度とコストの差

品質の指標ではGPT-5.6 Lunaが一貫して上回りました。DeepSWEの公式スコアリングにおけるpass@1は、Lunaが67.2%、DeepSeekが53.3%で、約14ポイントの差が付いています。試行回数をそろえた場合も、2回で81.6対70.1、4回で90.3対80.5と、すべてのkでLunaがリードしています。

一方、コスト効率ではDeepSeekが圧倒します。100ドルあたりの解決タスク数はDeepSeekが532件、Lunaが110件で、約4.8倍の差です。加えて、DeepSeekのpass@2（70.1%）はLunaのpass@1（67.2%）をすでに上回っており、2回の試行でも約0.20ドルしかかかりません。検証器が良い結果を選べる環境では、安価なモデルがフラッグシップの初回品質に3分の1の価格で届くことになります。

カスケードで最適解に

記事が最も注目するのは、2つのモデルを組み合わせたカスケード構成です。DeepSeek-V4 Flashを先に実行し、テストスイートが不合格と判定したタスクだけをLunaにエスカレーションする方式で、113タスク中78.9%を1タスクあたり0.385ドルで解決しました。これはLuna単体の67.2%より精度が高く、0.61ドルより約37%安い結果です。

カスケードが機能する理由は、前段のDeepSeekが約53%のタスクを1件10セントで片付けるため、Lunaの処理は難しい残りだけに限定される点にあります。さらにLunaに到達したタスクは、DeepSeekの失敗後に2回目の独立した試行を受けることになります。記事は、完全なワンショットの経路選択（74.3%）を上回るのは「1回の完璧な選択より2回の試行が勝る」ためだと説明しています。

得意・不得意の傾向

タスクの種類を8つのドメインに分類すると、Lunaは7分野で勝利しました。特にプログラム解析（69対33）、並行性と永続性（70対38）、言語・ランタイム内部（86対59）では約30ポイントの差が付いています。DeepSeekが勝ったのはクエリ・設定言語（78対70）の1分野だけで、記事はSQLビルダーやウィンドウ関数、設定パーサーなど、構造化されたスキーマに沿った作業で競争力を持つと分析しています。

プログラミング言語別ではLunaが5言語すべてで勝利しましたが、差は言語によって異なります。Rust（55対60）とGo（62対79）ではDeepSeekも健闘する一方、JavaScriptは35対60と最も大きく崩れ、Pythonも49対65と軟調です。失敗時の挙動にも差があり、既存のテストスイートを壊す割合はDeepSeekが9%、Lunaが15%で、安価なモデルの方が「きれいに失敗する」傾向にあります。

現時点での限界

両モデルのタスクごとの相関は0.50で、多様性は限定的です。両方が解いたタスクは87件、Lunaだけが解いたのは15件、DeepSeekだけが解いたのは4件です。ただし、DeepSeekだけが解いた4件のいずれでも4回すべて成功してはいません。一方Lunaは、DeepSeekが一度も解けない4タスクで4回すべて成功しています。両者の合計でカバーできるのは113件中106件（93.8%）で、残りの7件はより強い第3のモデルが必要だと記事は指摘しています。

また、DeepSeekは安いだけでなく遅いという点にも注意が必要です。中央値で23分・148ステップを要し、Lunaの16分・92ステップを上回ります。出力トークンも中央値で104kと、Lunaの70kより多い傾向があります。記事は、この速度差はモデルの新しさに起因する部分があり、推論エンジンの最適化が進めば縮小する見込みだとしています。