Qwen 3.8-Maxの評価が時間予算で逆転、コスト指標の見直しが必要に

発表内容と検証結果の乖離

Alibabaは今週、モデル「Qwen 3.8-Max」を公開し、Claude Fable 5に次ぐ性能を持つと宣伝した。ただし、自社の発表資料では、コーディングエージェント関連の12項目のうち1項目でのみリードするという控えめな内容だった。一方、独立した評価ハーネス（ベンチマークの共通実行環境）であるVulcanBenchを使ったテストでは、最高の努力設定でも中位、デフォルト設定では最下位という、ほぼ逆の結果が出た。この実行はプレビュー版を使ったとみられる。

両方の結果は、それぞれに妥当なものである。その差はトークン予算と時間予算の違いによる。Alibabaの注釈によると、コーディング評価には5時間、PaperBenchでは1実行あたり最大12時間のタイムアウトが設定されていた。一方、VulcanBenchは45分から60分の実時間しか与えていない。時間予算の差は5倍から16倍に達しており、これが結果の大きな違いを説明しているとみられる。

価格では測れないコスト

Qwen 3.8-Maxの公開直後に注目されたのは、トークン単価の比較だった。DeepSeek-V4-Flash-0731は入力100万トークンあたり14セント、出力28セントで、Qwen 3.8-Maxは2ドルと6ドル、Kimi K3は3ドルと15ドルである。しかし、推論モデルでは回答を書く前の「思考トークン」を大量に消費し、トークン上限に達すると回答が空のまま終わることがある。この場合、全額を支払ったのに失敗と区別がつかない結果になるため、単価は以前ほど意味を持たない。

Artificial Analysisの測定では、DeepSeek-V4-Flashを最大努力で実行した場合の出力トークンは2億1000万に達し、クラス中央値の1億を上回った。トークン単価が安いため絶対コストは低く抑えられたが、冗長な出力は時間も消費し、用途によっては大きな負担になる。価格比較はあくまで出発点であり、実際のタスクでどれだけのトークンと時間がかかるかを評価する必要がある。

失敗の多くはタイムアウト

誤った回答と予算切れは異なる事象であり、修正方法も異なる。しかし、ほとんどのハーネスはこの区別を記録せず、リーダーボードも内訳を公表していない。7月に公開されたLong-Horizon-Terminal-Benchでは、17のフロンティアモデル（最先端モデル）を46タスクで評価し、各実行に90分を1回だけ与えた。未解決の実行のうち、タイムアウトが79%、モデル自身が停止したケースが19%、ハーネスエラーが3%だった。

タイムアウトになった実行は完了に近づいておらず、平均報酬は0.10から0.35の範囲だった。そのため、時間を延長すれば成功したとは限らない。つまり、ベンチマークは明示しなくても時間効率を暗に測定している。VulcanBenchの7月26日付レポートでは、Claude Opus 5の低努力設定が23タスク中20を解決し、高努力設定の18を上回った。追加の推論が必ずしも精度向上につながらない例と言える。

選定に必要な2つの対策

記事は、モデル選定にあたり二つの対策を提案している。一つ目は「成功タスクあたりのコスト」を使うことだ。これは、失敗した試行に費やした費用を含む総支出を、受け入れ検査を通過したタスク数で割った指標である。二つ目は、時間またはトークンの予算を受入基準として明示することだ。これらを考慮しない場合、ベンチマークの順位と実際の請求額が大きく乖離する可能性がある。

失敗率は設定によっても変わる。誤回答と予算切れを区別して記録すると、予算切れが支配的な失敗原因になるという。そのため、日本企業がモデルを選ぶ際も、自社のタスクに合った時間・トークン予算を定義し、成功タスクあたりのコストで比較するのが有効とみられる。今回のQwen 3.8-Maxの例は、評価条件を明示しない限り、モデルの実力を誤って判断するリスクがあることを示している。