SWE-Bench とは何ですか？

実在するOSSの本物のバグ報告をAIに修正させ、開発者が用意したテストに通るかどうかで採点するベンチマークです。GitHub 上の実際の課題と修正コミットを題材にしているため、実務に近い「現場のコーディング力」を測れます。AIの開発能力を示す最重要指標として、各社が新モデルの発表時に必ずスコアを公開します。

SWE-Bench と HumanEval は何が違うの？

HumanEval は「指示どおりに関数を1個書けるか」を測るコード生成テストで、今の主要モデルではほぼ満点に達しています。一方 SWE-Bench は「複数ファイルを読み解いて実在のバグを直せるか」を測るため、より実践的で難易度が高いのが違いです。コードを書く力よりも、既存コードを理解して直す力を評価する点が大きな差です。

「SWE-Bench Verified」って普通の SWE-Bench と何が違うの？

元の SWE-Bench には、テストが不適切だったり指示が曖昧だったりして「解けても採点できない」問題が混ざっていました。Verified はそうしたノイズを人手で精査し、正しく評価できる問題だけを集めた高品質版です。モデル同士を公平に比べやすいため、各社の比較ではこの Verified のスコアが引用されることが多いです。

初心者はスコアをどう見ればいい？

まず「数字が高いほど、本物のバグ修正を任せやすい目安」と捉えれば十分です。ただし有名なベンチマークほど問題が学習データに混ざる『汚染』や、そのテスト向けの最適化が起こりうるため、1つの数字を鵜呑みにしないのが安全です。実際の使い心地は Aider Leaderboard など別の指標や、自分の環境での試用も合わせて判断しましょう。

ベンチマーク 🔥 HOT

SWE-Benchとは？

別名: SWE-Bench Verified

実際のGitHubバグをAIが直せるかを測る。

⚡ 30秒でわかる

SWE-Bench の主なポイント

1 SWE-Bench は、実在するOSSの本物のバグをAIに修正させ、テストが通るかで採点するベンチマーク
2 GitHub の実際の課題と修正コミットが題材なので、実務に近い「現場のコーディング力」を測れる
3 コード1個を書かせる HumanEval と違い、複数ファイルにまたがる実バグの修正という実践的な難しさが特徴
4 人手で精査した高品質版「SWE-Bench Verified」がモデル比較でよく引用される
5 新モデルでスコアが飽和してきたため、より難しい後継 SWE-Bench Pro が登場している

📖 詳しく

SWE-Bench とは

SWE-Bench（エスダブリューイー・ベンチ）は、実在するOSS（オープンソースソフトウェア）の本物のバグ報告を集めて、AIに自力で修正させ、開発者が用意したテストに通るかどうかで採点するベンチマークです。GitHub 上の実際の課題（Issue）とその修正コミットをもとに作られているため、クイズ的なコード問題ではなく「現場のエンジニアが直面する作業をどこまで任せられるか」を測れるのが特徴で、AIのコーディング能力を示す最重要指標として Claude・GPT・Gemini の主戦場になっています。たとえば「ある関数のバグを直して」という1問でも、AIは複数ファイルを読み解き、原因を特定し、既存コードを壊さずに修正する必要があり、これは実務に非常に近い難しさです。コードを1個書かせるだけの HumanEval が今のモデルではほぼ満点なのに対し、SWE-Bench は「複数ファイルにまたがる実バグの修正」というより実践的な点で位置づけが異なります。なお、ノイズの多い問題を人手で精査した高品質版「SWE-Bench Verified」がよく引用され、近年は飽和してきたため、さらに難しい SWE-Bench Pro が後継として登場しています。

❓ FAQ

よくある質問

Q. SWE-Bench とは何ですか？: A. 実在するOSSの本物のバグ報告をAIに修正させ、開発者が用意したテストに通るかどうかで採点するベンチマークです。GitHub 上の実際の課題と修正コミットを題材にしているため、実務に近い「現場のコーディング力」を測れます。AIの開発能力を示す最重要指標として、各社が新モデルの発表時に必ずスコアを公開します。
Q. SWE-Bench と HumanEval は何が違うの？: A. HumanEval は「指示どおりに関数を1個書けるか」を測るコード生成テストで、今の主要モデルではほぼ満点に達しています。一方 SWE-Bench は「複数ファイルを読み解いて実在のバグを直せるか」を測るため、より実践的で難易度が高いのが違いです。コードを書く力よりも、既存コードを理解して直す力を評価する点が大きな差です。
Q. 「SWE-Bench Verified」って普通の SWE-Bench と何が違うの？: A. 元の SWE-Bench には、テストが不適切だったり指示が曖昧だったりして「解けても採点できない」問題が混ざっていました。Verified はそうしたノイズを人手で精査し、正しく評価できる問題だけを集めた高品質版です。モデル同士を公平に比べやすいため、各社の比較ではこの Verified のスコアが引用されることが多いです。
Q. 初心者はスコアをどう見ればいい？: A. まず「数字が高いほど、本物のバグ修正を任せやすい目安」と捉えれば十分です。ただし有名なベンチマークほど問題が学習データに混ざる『汚染』や、そのテスト向けの最適化が起こりうるため、1つの数字を鵜呑みにしないのが安全です。実際の使い心地は Aider Leaderboard など別の指標や、自分の環境での試用も合わせて判断しましょう。