非公開の企業コードベースでAIを評価、新ベンチマーク「Real-SWE」公開

Real-SWEとは何か

Real-SWEは、非公開の実企業コードベースを対象に先端AIモデルを評価するベンチマークです。出題される課題は、実在する企業からライセンスを受けた非公開の本番コードベースに由来し、その企業のエンジニアが実際に取り組む種類の作業だと説明されています。コードも解答も公開インターネット上には存在しないため、モデルにとって本質的に未知の課題になるとしています。

特徴として挙げられているのは3点です。第1に私有コードベースであること、第2に請求や税計算、顧客移行など事業の運用に影響する変更であること、第3に企業ごとのコーディング規約やルールを理解する必要があることです。記事では、既存製品が持つ文脈と複雑さがそのまま課題に含まれると説明しています。

評価では、モデル単体ではなくモデルとハーネス（エージェントを動かすCLIやツール群）の組み合わせを測ります。実際の企業エンジニアの作業の進め方に近づけるためだと説明されています。

最高でも38.8%の解決率

公開された結果では、首位はFable 5.1とClaude Codeの組み合わせで解決率38.8%でした。続いてGPT-6 AstraとCodex CLIが33.8%、Gemini 3.8 FlashとGemini CLIが31.2%となっています。Grok 4.6とGrok Build、Muse Spark 1.3とMuse Codeがともに23.8%で並び、下位はKimi K3の18.8%、GPT-5.6 Solの16.2%でした。最高でも4割弱にとどまっています。

ロールアウト1回あたりの推定コストは2.50ドルから6.96ドルの範囲です。記事は「コストが高いからといって解決率が高いとは限らない」と明記しており、実際に最も低コストのGemini 3.8 Flash（2.50ドル）が3位に入っています。

分析対象の10タスクのうち6タスクは解決率が15%未満でした。また、どのモデルもすべてのタスクを解けておらず、モデルごとに失敗の仕方も異なると報告されています。

失敗の中心は要件の取りこぼし

課題の指示文は変更の内容を述べるにとどまり、実装の詳細はエージェント自身がコードベースや周辺ツールから見つけ出す必要があります。典型的な指示は1,742文字で、変更が及ぶファイル数は11にのぼります。これはFrontierCodeやDeepSWEの6ファイルより多い数字です。

失敗の分類では、要件の取りこぼしが最も多いと報告されています。記事は、既存の業務ロジックやコーディングパターンが詰まったコードベースで要件を読み解くことが難しいためだと説明しています。

実行時間の長さも失敗率を大きくは変えませんでした。10分未満のロールアウトの失敗率は71.4%、それより長いロールアウトは73.4%で、ほぼ同水準です。早い段階でつまずくケースが多いことを示唆するとみられます。

評価方法と現時点の限界

各エージェントは隔離されたサンドボックスで実行され、タスクはHarbor形式で提供されます。検証器は採点時に投入され、コードベースに既存のテストスイートを参考にするか、そのまま使うと説明されています。

コードベースは、実際の利用規模が大きく、エンジニアリングチームが強く、本番負荷が厳しい企業から選ばれたとしています。例として、20万人以上が利用しApp Storeでトップ100に入るアプリ、10万件を超える銀行明細を処理する消費者向けフィンテック、複雑な業務フローを扱うエンタープライズAI営業プラットフォームが挙げられています。

一方、記事で示されているのは10タスクのサンプル分析であり、ベンチマーク全体のタスク数や公開範囲は明らかにされていません。数値はいずれも1タスクあたり8回の試行に基づくものです。