- コンパイル済みプログラムと文書を渡し、AIがソースから再構築できるかを測るProgramBench
- 公開当初は最高スコアが完全再現0%、ほぼ再現3%だったが、今回18.5%と70.5%に上昇
- 筆者は2027年末までの飽和を予想。ただし測定上の上限がある点には注意が必要
何が報告されたのか
AI研究者向けニュースレターImport AI 478で、ベンチマークProgramBenchの最新スコアが紹介されました。Claude Opus 5.5（xhigh）が完全再現率18.5%を記録したという内容です。ProgramBenchは2026年5月に公開されたばかりのベンチマークで、公開当時は試験したすべてのモデルが0%でした。
注目すべきは、完全再現率だけでなく「ほぼ再現」の割合も大きく伸びた点です。公開当初の最高記録はClaude Opus 4.7の完全再現0%、ほぼ再現3%でした。今回Claude Opus 5.5は完全再現18.5%、ほぼ再現70.5%に達しています。少数のタスクを完璧に解く段階から、大部分のテストを通す段階へと移りつつあることが読み取れます。
ProgramBenchとは何か
ProgramBenchは、コンパイル済みのプログラムとそのドキュメントだけを手がかりに、AIが元のソフトウェアを一から作り直せるかを測るベンチマークです。対象は200タスクで、言語処理系（PHP、Lua、tinycc）、データベース（DuckDB、SQLite）、メディア・圧縮関連（FFmpeg、zstd、xz）、開発者ツール（ripgrep、fzf、jq）などが含まれると説明されています。
評価は2種類の指標で行われます。すべてのテストに合格した割合を示す「resolved」と、95%を超えるテストに合格した割合を示す「almost」です。実際に動く成果物を作れるか、という実務に近い問いを立てている点が、コード生成のベンチマークとの違いと言えます。
数字が示す進歩の速さ
公開から数カ月で完全再現率が0%から18.5%へ動いたことは、コーディングエージェントの能力が短期間で変わりうることを示しています。筆者は、2027年には膨大な量のソフトウェアがAIシステムによって端から端まで自律的に開発されるようになる、という見方を示しています。
一方で、18.5%という数字は200タスクのうちおよそ37タスクで全テストに合格した水準です。過半数のタスクでは依然として完全再現に至っていません。ほぼ再現が70.5%まで伸びていることから、部分的な再現と完全な再現の間には、まだ超えるべき壁があると考えられます。
現時点の注意点
ProgramBenchのようなベンチマークは、スコアが高くなるほど測定上の上限（ノイズ上限）に近づき、満点に達しなくても伸びが鈍ることがあります。筆者自身も、2027年末までに飽和すると予想しつつ、厳密に100%にはならない可能性を認めています。このため、スコアの伸びだけを性能の伸びとして単純に読むのは適切ではありません。
また、ベンチマークのタスクは公開されている著名なソフトウェアが中心です。実際の業務で使われる社内システムや、日本語特有の要件を持つソフトウェアで同じ性能が出るかは、この結果だけでは判断できません。導入を検討する際は、自社の対象領域に近いタスクで個別に評価する必要があります。
| 項目 | Claude Opus 4.7（公開当初） | Claude Opus 5.5（xhigh） |
|---|---|---|
| 完全再現（resolved、全テスト合格） | 0% | 18.5% |
| ほぼ再現（almost、95%超のテスト合格） | 3% | 70.5% |
In 2027, huge amounts of software will be built via AI systems end-to-end autonomously developing whatever they need to do for whatever tasks they're being put to.
2027年には、膨大な量のソフトウェアがAIシステムによって構築されるようになる。AIが、与えられたタスクに必要なものを端から端まで自律的に開発する形だ。
今後の見通し
ProgramBenchのスコアは今後も上昇を続け、筆者は2027年末までに飽和すると予想しています。ただし、ベンチマークには測定上の上限があり、満点には届かない可能性があります。判断材料として次に見たいのは、他社モデルを含めたスコアの分布、タスクごとの得意・不得意の偏り、そして公開されているOSS以外のソフトウェアでどこまで再現できるかです。これらが明らかになれば、実務での適用範囲をより具体的に見積もれると考えられます。
日本の開発者・IT企業にとっての意味
日本のIT企業にとって、この結果は「コーディングエージェントに何を任せられるか」の前提が数カ月単位で変わりうることを示します。既存OSSの再実装のような作業は、これまで人手と時間が必要でしたが、エージェントが下書きを作り、人間が検証する分業が現実味を帯びます。一方で完全再現率は18.5%にとどまり、生成物のテスト・レビューやライセンス確認は依然として人間側の責任です。内製ツールの保守やレガシー移行の計画では、ベンチマークの推移を定点観測し、検証コストを含めた見積もりを更新していく姿勢が求められます。
気になる点
- ProgramBenchのスコアが高いモデルは、実務のコーディングにそのまま使えますか。
- 直接の答えにはなりません。ProgramBenchはコンパイル済みプログラムとドキュメントから再構築する特殊な課題を測るもので、通常の機能追加や改修の性能とは異なります。実務では自社のコードベースを使った評価を別途行う必要があります。
- 18.5%と70.5%は何が違うのですか。
- 18.5%は200タスクのうち全テストに合格した割合（resolved）、70.5%は95%を超えるテストに合格した割合（almost）です。大部分のテストは通せるが最後の数%が通らない、という状態が多数を占めていることを示します。
- 日本語のソフトウェアや国産のOSSも対象になっていますか。
- 現時点では公表されていません。記事で挙げられているタスクはPHP、Lua、SQLite、FFmpeg、ripgrepなど海外発の著名なOSSが中心です。日本語固有の要件を持つソフトウェアでの性能は別途検証が必要です。
用語解説
- ProgramBench
- コンパイル済みプログラムとドキュメントを渡し、AIがソースから再構築できるかを測るベンチマーク。200タスクで構成される。
- resolved / almost
- ProgramBenchの2つの指標。resolvedは全テスト合格、almostは95%超のテスト合格の割合を指す。
- コーディングエージェント
- コード生成だけでなく、ファイル操作やテスト実行などを自律的に繰り返して作業を進めるAIシステム。
- ノイズ上限
- ベンチマークのスコアが満点に近づくと、測定誤差や設計上の制約で頭打ちになること。
出典
Import AI 478: Math for alignment; ProgramBench; and Mirendil shows what RSI means
https://importai.substack.com/p/import-ai-478-math-for-alignment
AI導入も顧問も、お任せください
何から手をつけるか、どこまでAIに任せるか。自社の業務に合わせて整理し、導入から運用まで伴走します。相談だけでも構いません。
AI導入について相談する