SWE-Bench とは何ですか？

実在するOSSの本物のバグ報告をAIに修正させ、開発者が用意したテストに通るかどうかで採点するベンチマークです。GitHub 上の実際の課題と修正コミットを題材にしているため、実務に近い「現場のコーディング力」を測れます。AIの開発能力を示す代表的な指標として、各社が新モデルの発表時にスコアを公開するのが定番でした。ただし2026年9月以降に出た Claude Opus 5.5 や GPT-6.1 Sol などはこのテストの値を公表しておらず（2026年10月9日時点）、より難しい別のテストに比較の軸が移っています。

SWE-Bench と HumanEval は何が違うの？

HumanEval は「指示どおりに関数を1個書けるか」を測るコード生成テストで、今の主要モデルではほぼ満点に達しています。一方 SWE-Bench は「複数ファイルを読み解いて実在のバグを直せるか」を測るため、より実践的で難易度が高いのが違いです。コードを書く力よりも、既存コードを理解して直す力を評価する点が大きな差です。

「SWE-Bench Verified」って普通の SWE-Bench と何が違うの？

元の SWE-Bench には、テストが不適切だったり指示が曖昧だったりして「解けても採点できない」問題が混ざっていました。Verified はそうしたノイズを人手で精査し、正しく評価できる問題だけを集めた高品質版です。モデル同士を公平に比べやすいため、各社の比較ではこの Verified のスコアが引用されることが多いです。

初心者はスコアをどう見ればいい？

まず「数字が高いほど、本物のバグ修正を任せやすい目安」と捉えれば十分です。ただし有名なベンチマークほど問題が学習データに混ざる『汚染』や、そのテスト向けの最適化が起こりうるため、1つの数字を鵜呑みにしないのが安全です。実際の使い心地は Aider Leaderboard など別の指標や、自分の環境での試用も合わせて判断しましょう。

ベンチマーク 🔥 HOT

SWE-Benchとは？

最終更新 2026年10月9日（公開 2026年7月6日）

別名: SWE-Bench Verified

実際のGitHubバグをAIが直せるかを測る。

⚡ 30秒でわかる

SWE-Bench の主なポイント

1 SWE-Bench は、実在するOSSの本物のバグをAIに修正させ、テストが通るかで採点するベンチマーク
2 GitHub の実際の課題と修正コミットが題材なので、実務に近い「現場のコーディング力」を測れる
3 コード1個を書かせる HumanEval と違い、複数ファイルにまたがる実バグの修正という実践的な難しさが特徴
4 人手で精査した高品質版「SWE-Bench Verified」がモデル比較でよく引用されてきた
5 2026年7月の Claude Opus 5 が 96.0% に達するなどスコアが飽和し、9月以降に出た Claude Opus 5.5・Sonnet 5.5・Haiku 5.5 や GPT-6.1 Sol は Verified を公表せず、より難しい後継 SWE-Bench Pro（2025年公開）などの値を出すようになった

📖 詳しく

SWE-Bench とは

SWE-Bench（エスダブリューイー・ベンチ）は、実在するOSS（オープンソースソフトウェア）の本物のバグ報告を集めて、AIに自力で修正させ、開発者が用意したテストに通るかどうかで採点するベンチマークです。GitHub 上の実際の課題（Issue）とその修正コミットをもとに作られているため、クイズ的なコード問題ではなく「現場のエンジニアが直面する作業をどこまで任せられるか」を測れるのが特徴で、AIのコーディング能力を示す代表的な指標として、長く Claude・GPT・Gemini の主戦場になってきました。たとえば「ある関数のバグを直して」という1問でも、AIは複数ファイルを読み解き、原因を特定し、既存コードを壊さずに修正する必要があり、これは実務に非常に近い難しさです。コードを1個書かせるだけの HumanEval が今のモデルではほぼ満点なのに対し、SWE-Bench は「複数ファイルにまたがる実バグの修正」というより実践的な点で位置づけが異なります。なお、ノイズの多い問題を人手で精査した高品質版「SWE-Bench Verified」がよく引用されてきましたが、スコアが飽和してきたため、2025年にはさらに難しい SWE-Bench Pro が後継として登場しました。その後、2026年7月公開の Claude Opus 5 は Verified で 96.0%（Anthropic 公表）とほぼ満点に達しています。2026年9月以降に出た Claude Opus 5.5・Sonnet 5.5・Haiku 5.5 や GPT-6.1 Sol は Verified の値を公表しておらず、SWE-Bench Pro や Terminal-Bench、DeepSWE など別のテストの値を出しています（2026年10月9日時点）。

❓ FAQ

よくある質問

Q. SWE-Bench とは何ですか？: A. 実在するOSSの本物のバグ報告をAIに修正させ、開発者が用意したテストに通るかどうかで採点するベンチマークです。GitHub 上の実際の課題と修正コミットを題材にしているため、実務に近い「現場のコーディング力」を測れます。AIの開発能力を示す代表的な指標として、各社が新モデルの発表時にスコアを公開するのが定番でした。ただし2026年9月以降に出た Claude Opus 5.5 や GPT-6.1 Sol などはこのテストの値を公表しておらず（2026年10月9日時点）、より難しい別のテストに比較の軸が移っています。
Q. SWE-Bench と HumanEval は何が違うの？: A. HumanEval は「指示どおりに関数を1個書けるか」を測るコード生成テストで、今の主要モデルではほぼ満点に達しています。一方 SWE-Bench は「複数ファイルを読み解いて実在のバグを直せるか」を測るため、より実践的で難易度が高いのが違いです。コードを書く力よりも、既存コードを理解して直す力を評価する点が大きな差です。
Q. 「SWE-Bench Verified」って普通の SWE-Bench と何が違うの？: A. 元の SWE-Bench には、テストが不適切だったり指示が曖昧だったりして「解けても採点できない」問題が混ざっていました。Verified はそうしたノイズを人手で精査し、正しく評価できる問題だけを集めた高品質版です。モデル同士を公平に比べやすいため、各社の比較ではこの Verified のスコアが引用されることが多いです。
Q. 初心者はスコアをどう見ればいい？: A. まず「数字が高いほど、本物のバグ修正を任せやすい目安」と捉えれば十分です。ただし有名なベンチマークほど問題が学習データに混ざる『汚染』や、そのテスト向けの最適化が起こりうるため、1つの数字を鵜呑みにしないのが安全です。実際の使い心地は Aider Leaderboard など別の指標や、自分の環境での試用も合わせて判断しましょう。