- 100タスクで91種類のCWEをカバー、誰でも実行・評価できる公開セット
- 採点は決定論的なプログラム検証で、追加コストなしに再現可能
- 首位Gemini 4 Argonでも19%のタスクは全試行で未解決
公開されたベンチマーク
Collinear AIが公開したCWE-bench v2は、100のタスクからなる公開ベンチマークです。誰でも自分のモデルを実行して評価できます。評価の流れは従来と同じで、エージェントが実在するオープンソースリポジトリのチェックアウトと短い指示を受け取り、既存の機能を壊さずにセキュリティ上の弱点を見つけて修正することを目指します。
採点は完全にプログラムで行われ、結果は決定論的です。そのため誰でも追加コストなしに同じ結果を再現できます。プログラムによる検証項目は、LLMによる判定パネルの協力を得て整備され、難易度と公平性の方向に調整されたと説明されています。
公開セットとは別に、どのモデルも見ていないheld-outセットも維持しています。held-outセットで評価したい場合は、cyber@collinear.ai への連絡が必要だとされています。記事では公開セットの内容と実行方法が中心に説明されています。
品質を担保する6つの確認
100タスクは91種類のCWEにまたがり、幅広い脆弱性クラスをカバーします。CWEはソフトウェアの弱点の種類を分類する識別子です。攻撃者が侵入に使いうる複数の弱点面を理解する必要があり、見慣れたパターンを認識するだけでは足りないと筆者は位置づけています。
各タスクについては6つの問いが検証されました。指示が評価用の設定ではなく現実の指示として読めるか、採点対象の挙動がすべて指示から推論できるか、検証器が特定の修正の構造ではなく正しい挙動を確認しているか、スタータコードが失敗し参照修正が通るか、修正後も元の機能が動くか、既知の上流パッチのような記憶された解答を検証器が落とすか、という6点です。
さらに全タスクが人手でレビューされました。セットをオープンソース化すること自体も品質向上の取り組みの一環とされ、各タスクへのフィードバックと公開セットへの貢献を歓迎するとしています。
首位でも19%が未解決
結果はHub上の2か所で追跡されています。CWE-benchのデータセットページのリーダーボードはオープンウェイトモデルを対象とし、モデルのリポジトリに結果ファイルを添えてPRを出すことで更新されます。Gemini、Claude、GPTのようなAPI専用モデルも含めた全体の比較は、CWE-benchのリーダーボードSpaceで確認でき、こちらはSpaceへのPRで新しいモデルが追加されます。
評価された11モデルのうち、Gemini 4 Argonが67.8%のpass@1と81.0%のpass@4で首位となりました。Claude Opus 5.5が67.3%のpass@1、78.0%のpass@4でこれに続きます。pass@kはk回試行して1回以上成功する確率、pass@1は1回の試行での成功率を指します。
95タスクは少なくとも1つのモデルが解決しており、タスクが解けるものであることの傍証になるとしています。一方で、首位のモデルでも19%のタスクは毎回の試行で失敗します。ロングテール、つまり難しい少数のタスク群はまだ解決されていないというのが筆者の見方です。
Harborから直接実行できる
コスト面では、DeepSeek V4.1 Flash、Claude Opus 5.5、Gemini 4 Argonがパレートフロンティアを形成しています。DeepSeekは1ロールアウトあたり$0.04で57.0%のpass@1に達し、Opusは$1.83で約10ポイント上乗せし、Geminiは$3.92でさらにわずかに上回るという整理です。ロールアウトは1タスクに対する1回の試行を意味します。
各タスクはHarborタスクとして自己完結しており、Docker化された環境、指示、決定論的な検証器で構成されます。データセットにはregistry.jsonが同梱されているため、Harborはリポジトリを自分でcloneすることなく、Hugging Faceのリポジトリから直接ベンチマーク全体を実行できます。実行コマンドとして、harbor run --repo "https://huggingface.co/datasets/collinear-ai/cwe-bench" -d cwe-bench@2.0 -k 4 にエージェントやモデル、環境などのオプションを付ける形が示されています。
-k 4はタスクごとに4回の試行を行う指定で、報告されるスコアは400試行全体の平均報酬です。データセットはgatedのため、先にデータセットページでアクセス条件に同意する必要があります。Harborはgitでタスクを取得するため、HFトークンをgitのcredential helperに一度保存しておく手順も案内されています。タスクにはrl-environmentタグも付いており、評価だけでなく防御側エージェントの訓練における報酬として同じ環境と検証器を利用できるとされています。
現時点の留意点
held-outセットについては、タスクの内容もスコアも公開されていません。問い合わせ先として cyber@collinear.ai が示されているのみです。公開セットで高いスコアを出したモデルが、未知のタスクや実際のコードベースでも同じ性能を発揮するかは、この記事の情報だけでは判断できません。
記事にはCWE別の内訳やタスクごとの成績は示されていません。100タスクで91種類のCWEという構成から、1種類あたり1タスク前後になるとみられます。また、リーダーボードはPRベースで更新されるため、提出された結果の検証方法や更新の頻度については現時点で明らかにされていません。
加えて、コストの数値は1ロールアウトあたりの単価であり、ベンチマーク全体を実行した場合の総額は記載されていません。試行回数やエージェントの設計によって変わる点には注意が必要です。
| 項目 | Gemini 4 Argon | Claude Opus 5.5 | DeepSeek V4.1 Flash |
|---|---|---|---|
| pass@1 | 67.8% | 67.3% | 57.0% |
| pass@4 | 81.0% | 78.0% | 原文に記載なし |
| 1ロールアウトあたりのコスト | $3.92 | $1.83 | $0.04 |
Of the 11 models evaluated, Gemini 4 Argon leads with 67.8% pass@1 and 81.0% pass@4, just ahead of Claude Opus 5.5 (67.3% pass@1, 78.0% pass@4).
評価した11モデルのうち、Gemini 4 Argonが67.8%のpass@1と81.0%のpass@4で首位となり、Claude Opus 5.5（67.3%のpass@1、78.0%のpass@4）をわずかに上回りました。
今後の見通し
CWE-bench v2は公開セット、採点器、実行ハーネスをオープンにしており、今後はコミュニティからのタスク追加や結果提出によってリーダーボードが更新されていくとみられます。次に注目すべきは、held-outセットでのスコアが公開されるかどうかです。公開セットとheld-outセットの差が明らかになれば、モデルがタスクをどの程度「覚えて」いるのか、汎用的な脆弱性理解を持っているのかを判断する材料になります。あわせて、CWE別の内訳が示されれば、どの弱点クラスが難しいのかという実務的な示唆が得られるでしょう。
日本の開発者・IT企業にとっての意味
脆弱性対応は、攻撃側が1回成功すれば突破されるのに対し、防御側は毎回正しく防ぐ必要がある非対称な領域です。単一の既知パターンに当てはめるだけのモデルでは実務に耐えないため、91種類のCWEを横断する100タスクで測る这个 方式は、セキュリティ用途でLLMエージェントを評価する際の現実的な物差しになります。特に、検証器が「特定の修正の構造」ではなく「正しい挙動」を見るように設計されている点と、既知の上流パッチのような記憶された解答を落とす設計は、自社でセキュリティ用エージェントを内製評価するときの参考になります。評価環境がDockerベースのHarborタスクとして配布され、rl-environmentタグで訓練の報酬にも使える点は、評価から改善までのループを自前で回したい企業にとって扱いやすい構成です。一方で、公開セットのスコアだけで自社システムの安全性を判断するのは危険で、自社リポジトリでの追加評価を前提にすべきです。
気になる点
- 日本の開発者や企業でも自分のモデルを評価できますか
- 公開セットはgatedですが、データセットページでアクセス条件に同意すれば誰でも実行できます。Docker環境で動くHarborと、モデルのAPIホストへのアクセス許可が必要です。API専用モデルの結果はリーダーボードSpaceへのPRで追加される仕組みです。
- ベンチマーク全体を回すといくらかかりますか
- 原文には1ロールアウトあたりの単価として$0.04、$1.83、$3.92が示されているだけです。100タスクを4回ずつ試行すると400ロールアウトになるため、単価を掛けた概算はできますが、総額そのものは公表されていません。エージェントの設計によっても変動します。
- スコアの高いモデルをそのまま脆弱性修正に使えますか
- 首位のGemini 4 Argonでも19%のタスクは全試行で失敗しており、そのまま実務に任せられる水準とは言えません。また評価対象は公開のオープンソースリポジトリであり、自社コードベースでの挙動は別途確認が必要です。原文でも長尾は未解決と明言されています。
用語解説
- CWE
- ソフトウェアの脆弱性の種類を分類する業界標準の識別子。共通脆弱性タイプ一覧とも呼ばれます。
- pass@k
- k回試行して1回以上成功する確率。pass@1は1回の試行での成功率を示します。
- エージェント
- 指示を受けてリポジトリの調査やコード編集を自律的に進めるLLMベースのプログラム。
- held-outセット
- モデルに公開していない評価用タスク群。過学習を避けて実力を測るために使います。
- Harbor
- タスクをDocker環境で実行するためのハーネス。原文で実行コマンドが示されています。
- ロールアウト
- 1つのタスクに対するモデルの1回の試行。コストはこの単位で示されています。
出典
CWE-bench v2: More coverage, quality, and transparency
AI導入も顧問も、お任せください
何から手をつけるか、どこまでAIに任せるか。自社の業務に合わせて整理し、導入から運用まで伴走します。相談だけでも構いません。
AI導入について相談する