- GLM-5.3は1実行3.99ドルとSolの半分以下、pass@4では87.6%と上回る
- 両モデルのタスク相関は0.43と低く、併用で113件中106件をカバー
- 先にGLM-5.3を実行し失敗時のみSolへエスカレーションする方式が最効率
比較実験の概要
Together AIは2026年8月21日、ソフトウェア工学ベンチマークDeepSWEを用いて、オープンウェイトのGLM-5.3（max）とGPT-5.6 Sol（max）を比較した結果を公開しました。対象は113タスクで、各モデルにつき4回の試行、計904回のrolloutから得られた公開記録に基づいています。評価にはDeepSWEの公式スコアを採用し、インフラエラーは除外されています。
この実験は、オープンウェイトモデルがフロンティアモデルにどこまで迫れるかを示すものとして注目されます。GLM-5.3はGPT-5.6 Solに約4ポイント差まで近づいており、複数回の試行を許せば逆転します。ただし、この結果はDeepSWEに限定されたものであり、実際のプロジェクトでの汎用性は別途検証が必要です。
性能差と複数試行の効果
初回の試行での成功率（pass@1）はGPT-5.6 Solが72.7%、GLM-5.3が69.0%で、Solがわずかに勝っています。しかし、試行回数を増やすと状況は変わります。2回目までに成功する確率（pass@2）は81.1%対81.0%でほぼ並び、4回目までに成功する確率（pass@4）はGLM-5.3が87.6%でSolの85.8%を上回ります。
信頼性の面では、Solは84.5%のタスクで4回全成功を達成し、61タスクを全ての試行で解決しました。一方、GLM-5.3は78.8%で48タスクです。逆に、4回以内に少なくとも1回成功するカバレッジではGLM-5.3が87.6%とSolの85.8%を上回っており、GLMは広く浅く、Solは狭く深い性質を持っているとみられます。
コストと速度のトレードオフ
実行コストは、GLM-5.3が1回あたり3.99ドル、GPT-5.6 Solが8.37ドルで、GLMが約2.1倍安価です。100ドルあたりに解決できるタスク数はGLMが17件、Solが9件と、費用対効果ではGLMが2倍近く高い結果でした。ただし、処理速度はSolが優れています。平均所要時間はSolが19分、GLMが35分で、出力トークン数もSolの60kに対してGLMは80kと、GLMはより長い推論を行います。
このトレードオフにより、待ち時間が問題にならないバッチ処理や予算重視の運用ではGLM、ユーザーが待つリアルタイム用途ではSolが選ばれる可能性があります。両者を比較すると、Solのプレミアムは速度と初回精度に対して支払われていると言えます。ただし、今回のコストは特定時点の公開価格であり、将来変更される可能性があります。
失敗パターンの違い
失敗時の傾向も異なります。Solは失敗したタスクの20%で、既存のテストを壊すリグレッションを引き起こしました。GLM-5.3はその割合が11%にとどまり、失敗しても既存機能を保ったまま新規テストの80%以上を通過するニアミスが61%に達します。このため、GLMの出力はリグレッションゲートを厳重に設けなくても受け入れやすいと言えます。
タスクタイプ別では、両者はそれぞれ4分野で勝っています。Solはデータモデリングとシリアライゼーション（92%）、ビルドと運用ツール（73%）、並行性と永続性（72%）、プロトコル準拠（59%）でリードし、GLMはクエリ言語と設定言語（88%）、言語とランタイム内部（83%）、ステートフルなリアクティビティ（73%）、プログラム解析（同率64%でボリュームで勝る）を獲得しました。言語別では、GLMがJavaScript（90%）とRust（70%）で、SolがPython（74%）、Go（79%）、TypeScript（66%）で勝っています。
ルーティング戦略の効果
両モデルのタスクごとの成功相関は0.43と低く、出力が独立していることが確認されました。実際、両者の併用により113タスク中106タスク（93.8%）をカバーできました。この特性を活かすため、まずGLM-5.3を実行し、テストスイートが不合格となったタスクのみGPT-5.6 Solにエスカレーションするカスケード方式が有効です。
この方式は85.9%のタスクを解決し、1タスクあたりのコストは6.61ドルです。これはSol単独の72.7%・8.37ドルを上回る成績で、完璧なワンショットルーティング（オラクル）の83.8%よりも高い成功率です。ただし、この手法はテストで検証できる環境と、両モデルの独立性が前提となります。
| 項目 | GLM-5.3 | GPT-5.6 Sol |
|---|---|---|
| 実行コスト (1回) | 3.99ドル | 8.37ドル |
| pass@1 | 69.0% | 72.7% |
| pass@4 | 87.6% | 85.8% |
| 平均所要時間 | 35分 | 19分 |
| 4回全成功のタスク数 | 48件 | 61件 |
Don't pick one. Run GLM-5.3 first, escalate to GPT-5.6 Sol when the tests fail. That cascade solves 85.9% of DeepSWE tasks at $6.61 each.
一つに絞るな。まずGLM-5.3を実行し、テストが失敗した時にGPT-5.6 Solへエスカレーションせよ。このカスケードはDeepSWEタスクの85.9%を1件あたり6.61ドルで解決する。
今後の見通し
今回の結果は、特定のベンチマークでの一断面ですが、オープンウェイトモデルがフロンティアに迫ったことを示しています。今後は、他のベンチマークや実プロジェクトでの検証が進み、タスクに応じてモデルを切り替えるルーティングの実用化が加速するとみられます。次に注目すべきは、GLM-5.3の企業向けサポートとAPIの安定性、GPT-5.6 Solの価格改定です。実際に導入する際には、自社のタスクセットで両モデルを評価し、カスケード方式の効果を測定することが判断材料になるでしょう。
日本の開発者・IT企業にとっての意味
日本のIT企業にとって、この比較結果は実務上のコスト管理に直結します。コード生成を活用する開発現場では、タスクごとにモデルを選ぶルーティングにより、品質を保ちながらAPI費用を抑えられる可能性があります。特に、GLM-5.3がコスト半分でpass@4を上回ることは、大量の試行が必要なエージェント型開発やテスト自動化で有利です。一方で、Solのリグレッション率の高さは、既存システムへの統合時に回帰テストを義務付ける必要があることを示唆します。今後、国内のクラウドベンダーやスタートアップがこのようなモデルルーティングを組み込んだサービスを提供すれば、AI開発のコスト構造が変わるかもしれません。
気になる点
- GLM-5.3はどこで使えますか？
- 原文では具体的な提供形態に触れていませんが、オープンウェイトモデルとして公開されているため、セルフホストや各クラウド経由での利用が想定されます。導入にあたっては、正式なサポートやライセンス条件をベンダー発表で確認する必要があります。
- カスケード運用には何が前提になりますか？
- 原文によると、テストスイートで出力を検証できる環境が必要です。具体的には、自動テストで不合格になった場合のみ高コストなモデルに再実行させる仕組みです。また、両モデルが同じタスクで失敗するケースもあり、完全な解決を保証するものではありません。
- なぜ複数回試行でGLM-5.3が逆転するのですか？
- GLM-5.3はSolよりもカバレッジが広く、特にJavaScriptやRustなどで高い性能を示します。初回の精度はSolに劣るものの、試行を重ねると広いカバレッジが生きるため、pass@4では逆転します。一方Solは1回で正確に解く信頼性の高いモデルです。
用語解説
- DeepSWE
- ソフトウェア工学の能力を測るベンチマークで、多様なタスクと言語で構成される。
- pass@k
- k回の試行のうち少なくとも1回テストを通過する確率。pass@1は1回で成功する率。
- リグレッション
- 新たな変更により既存のテストや機能が壊れること。
- カスケード運用
- 低コストなモデルを先に実行し、失敗時のみ高コストモデルに切り替える方式。
出典
GLM-5.3 vs. GPT-5.6 Sol on DeepSWE: Cost, Coding, and Routing
https://together.ai/blog/glm-5-3-vs-gpt-5-6-sol-on-deepswe-cost-coding-and-routing
AI導入も顧問も、お任せください
何から手をつけるか、どこまでAIに任せるか。自社の業務に合わせて整理し、導入から運用まで伴走します。相談だけでも構いません。
AI導入について相談する