ベンチマーク
SWE-Bench Proとは？
SWE-Benchをさらに難しくした実バグ修正テスト。
⚡ 30秒でわかる
SWE-Bench Pro の主なポイント
- 1 SWE-Bench Pro は、AIの実バグ修正・機能実装力を測る SWE-Bench の難化版ベンチマーク（Scale AI が2025年公開）
- 2 SWE-Bench Verified が70%超で飽和したため、より難しく差がつく後継として登場した
- 3 複数ファイルをまたぎ人間でも数時間〜数日かかる『長丁場』の課題が中心
- 4 学習データへの汚染を防ぐため、GPL など強いライセンスのコードや非公開の企業コードを採用している
- 5 公開当初は最上位AIでも公開セットで20%台前半の正解率で、難しさと伸びしろが大きいことを示した
📖 詳しく
SWE-Bench Pro とは
SWE-Bench Pro（スイーベンチ・プロ）は、AIが実際のソフトウェアのバグや機能追加をどれだけ解けるかを測る、SWE-Bench の後継ベンチマークです。AI研究で知られる Scale AI が2025年に公開しました。なぜ必要かというと、定番だった SWE-Bench Verified が「最強AIで70%超」と飽和（ほぼ満点に近づくこと）してしまい、モデル同士の実力差が見えにくくなったためです。SWE-Bench Pro は、複数ファイルにまたがり人間のエンジニアでも数時間〜数日かかるような「長丁場（long-horizon）」の難問を集めているのが特徴です。さらに、問題が学習データに混ざる「汚染」を防ぐため、GPL などの強いライセンスを持つコードや非公開の企業コードベースを使う工夫がされています。公開当初は最上位モデルでも公開セットの正解率が20%台前半にとどまり、企業向けの難問セットではさらに低くなる、伸びしろの大きい領域として注目されました（その後モデルの進化につれてスコアは上昇しています）。
❓ FAQ
よくある質問
- Q. SWE-Bench Pro とは何ですか？
- A. AIが実際のソフトウェア開発タスク（バグ修正や機能追加）をどれだけ自力で解けるかを測るベンチマークです。AI研究で知られる Scale AI が2025年に公開しました。定番だった SWE-Bench の難化・拡張版で、人間のエンジニアでも数時間〜数日かかるような複雑な課題を集めているのが特徴です。
- Q. SWE-Bench（Verified）と SWE-Bench Pro は何が違うの？
- A. どちらも実際のコードのバグ修正力を測る点は同じですが、難易度と狙いが違います。SWE-Bench Verified には1〜2行で直せる比較的やさしい問題も多く、最強AIで70%超と飽和してきました。SWE-Bench Pro は複数ファイルにまたがる長丁場の難問だけを集めており、公開当初は同じ最上位モデルでも正解率が20%台前半まで下がりました。
- Q. なぜ『汚染を防ぐ』ことが重視されているの？
- A. ベンチマークの問題と答えがAIの学習データに混ざっていると、本当の実力ではなく『答えを覚えていただけ』の点数になってしまうからです。これを汚染（コンタミネーション）と呼びます。SWE-Bench Pro は、勝手な転用がしにくい強いライセンス（GPL などのコピーレフト）のコードや、一般公開していない企業のコードベースを使うことで、この汚染を起こりにくくしています。
- Q. 初心者はこのスコアをどう見ればいい？
- A. 『今のAIにとって本当に難しい、現実的な開発タスクでの実力』の目安だと捉えれば十分です。スコアが低くても悲観する必要はなく、それだけ課題が難しい証拠です。新しいコーディングAIを比べるときは、飽和した SWE-Bench Verified だけでなく SWE-Bench Pro のような難しいベンチも合わせて見ると、実力差がよりはっきり分かります。
🔗 関連
あわせて読みたい
関連 AI モデル