--- title: "SWE-Bench とは？実際のGitHubバグをAIが直せるかを測る。 | AI用語集 - ai-garage" description: "SWE-Bench（SWE-Bench Verified）を初心者向けにやさしく解説。実際のGitHubバグをAIが直せるかを測る。 SWE-Bench は、実在するOSSの本物のバグをAIに修正させ、テストが通るかで採点するベンチマーク" source: https://ai-garage.jp/glossary/swe-bench/ --- ベンチマーク 🔥 HOT # SWE-Benchとは？ 最終更新 2026年10月9日 （公開 2026年7月6日） 別名: SWE-Bench Verified 実際のGitHubバグをAIが直せるかを測る。 ⚡ 30秒でわかる ## SWE-Bench の主なポイント - 1 SWE-Bench は、実在するOSSの本物のバグをAIに修正させ、テストが通るかで採点するベンチマーク - 2 GitHub の実際の課題と修正コミットが題材なので、実務に近い「現場のコーディング力」を測れる - 3 コード1個を書かせる HumanEval と違い、複数ファイルにまたがる実バグの修正という実践的な難しさが特徴 - 4 人手で精査した高品質版「SWE-Bench Verified」がモデル比較でよく引用されてきた - 5 2026年7月の Claude Opus 5 が 96.0% に達するなどスコアが飽和し、9月以降に出た Claude Opus 5.5・Sonnet 5.5・Haiku 5.5 や GPT-6.1 Sol は Verified を公表せず、より難しい後継 SWE-Bench Pro（2025年公開）などの値を出すようになった 📖 詳しく ## SWE-Bench とは SWE-Bench（エスダブリューイー・ベンチ）は、実在するOSS（オープンソースソフトウェア）の本物のバグ報告を集めて、AIに自力で修正させ、開発者が用意したテストに通るかどうかで採点する[ベンチマーク](https://ai-garage.jp/glossary/benchmark/)です。GitHub 上の実際の課題（Issue）とその修正コミットをもとに作られているため、クイズ的なコード問題ではなく「現場のエンジニアが直面する作業をどこまで任せられるか」を測れるのが特徴で、AIのコーディング能力を示す代表的な指標として、長く Claude・GPT・Gemini の主戦場になってきました。たとえば「ある関数のバグを直して」という1問でも、AIは複数ファイルを読み解き、原因を特定し、既存コードを壊さずに修正する必要があり、これは実務に非常に近い難しさです。コードを1個書かせるだけの [HumanEval](https://ai-garage.jp/glossary/humaneval/) が今のモデルではほぼ満点なのに対し、SWE-Bench は「複数ファイルにまたがる実バグの修正」というより実践的な点で位置づけが異なります。なお、ノイズの多い問題を人手で精査した高品質版「SWE-Bench Verified」がよく引用されてきましたが、スコアが飽和してきたため、2025年にはさらに難しい [SWE-Bench Pro](https://ai-garage.jp/glossary/swe-bench-pro/) が後継として登場しました。その後、2026年7月公開の Claude Opus 5 は Verified で 96.0%（Anthropic 公表）とほぼ満点に達しています。2026年9月以降に出た Claude Opus 5.5・Sonnet 5.5・Haiku 5.5 や GPT-6.1 Sol は Verified の値を公表しておらず、SWE-Bench Pro や [Terminal-Bench](https://ai-garage.jp/glossary/terminal-bench/)、DeepSWE など別のテストの値を出しています（2026年10月9日時点）。 ❓ FAQ ## よくある質問 Q. SWE-Bench とは何ですか？ A. 実在するOSSの本物のバグ報告をAIに修正させ、開発者が用意したテストに通るかどうかで採点するベンチマークです。GitHub 上の実際の課題と修正コミットを題材にしているため、実務に近い「現場のコーディング力」を測れます。AIの開発能力を示す代表的な指標として、各社が新モデルの発表時にスコアを公開するのが定番でした。ただし2026年9月以降に出た Claude Opus 5.5 や GPT-6.1 Sol などはこのテストの値を公表しておらず（2026年10月9日時点）、より難しい別のテストに比較の軸が移っています。 Q. SWE-Bench と HumanEval は何が違うの？ A. HumanEval は「指示どおりに関数を1個書けるか」を測るコード生成テストで、今の主要モデルではほぼ満点に達しています。一方 SWE-Bench は「複数ファイルを読み解いて実在のバグを直せるか」を測るため、より実践的で難易度が高いのが違いです。コードを書く力よりも、既存コードを理解して直す力を評価する点が大きな差です。 Q. 「SWE-Bench Verified」って普通の SWE-Bench と何が違うの？ A. 元の SWE-Bench には、テストが不適切だったり指示が曖昧だったりして「解けても採点できない」問題が混ざっていました。Verified はそうしたノイズを人手で精査し、正しく評価できる問題だけを集めた高品質版です。モデル同士を公平に比べやすいため、各社の比較ではこの Verified のスコアが引用されることが多いです。 Q. 初心者はスコアをどう見ればいい？ A. まず「数字が高いほど、本物のバグ修正を任せやすい目安」と捉えれば十分です。ただし有名なベンチマークほど問題が学習データに混ざる『汚染』や、そのテスト向けの最適化が起こりうるため、1つの数字を鵜呑みにしないのが安全です。実際の使い心地は Aider Leaderboard など別の指標や、自分の環境での試用も合わせて判断しましょう。 🔗 関連 ## あわせて読みたい 関連用語 [ベンチマーク](https://ai-garage.jp/glossary/benchmark/)[SWE-Bench Pro](https://ai-garage.jp/glossary/swe-bench-pro/)[ベンチマーク](https://ai-garage.jp/glossary/benchmark/)[HumanEval](https://ai-garage.jp/glossary/humaneval/)[Agentic Coding](https://ai-garage.jp/glossary/agentic-coding/) 関連 AI モデル [Claude Code — Anthropic Claude Opus 5.5 を既定に、長い大仕事向けの Claude Fable 5.1 も呼べるエージェント開発のフラッグシップ。ターミナルからスマホまで同じセッションで続けられる。](https://ai-garage.jp/models/claude-code/)[Codex — OpenAI ChatGPT 統合のコーディング相棒。2026-09-29 から GPT-6.1 Sol が既定になり、推奨モデルは GPT-6 Astra・GPT-6.1 Sol・GPT-6 Luna の3本。in-app browser でローカルUIまで触れる。](https://ai-garage.jp/models/codex/)[Cursor — Anysphere（SpaceX 傘下） VS Code ベースのAIネイティブエディタ。自社モデル Composer＋クラウドで自走するエージェント＋Visual Editor。](https://ai-garage.jp/models/cursor/) 関連トピック [AIコーディング戦争 — 開発の現場が完全に書き換わる Cursor・Claude Code・Codex・Copilot Agent が「相棒」から「代理人」へ。1人で5人分の生産性が現実に。](https://ai-garage.jp/topics/ai-coding-war/) 📰 この用語が登場する記事 ## 「SWE-Bench」が出てくるニュース [![コーディングAIはどれを選ぶ？定番4つを料金と中身で比べたよ](https://ai-garage.jp/images/news-heroes/coding-ai-how-to-choose-card.webp) 2026/9/19 コーディングAIはどれを選ぶ？定番4つを料金と中身で比べたよ](https://ai-garage.jp/news/coding-ai-how-to-choose/)[![GLM-5.3-Flash とは？ox-alpha の正体、商用OKで1タスク$0.24](https://ai-garage.jp/images/news-heroes/glm-5-3-flash-ox-alpha-reveal-card.webp) 2026/8/28 GLM-5.3-Flash とは？ox-alpha の正体、商用OKで1タスク$0.24](https://ai-garage.jp/news/glm-5-3-flash-ox-alpha-reveal/)[![ox-alpha（オックスアルファ）とは？無料1Mコンテキストの謎モデル、性能の数字に要注意](https://ai-garage.jp/images/news-heroes/ox-alpha-stealth-model-card.webp) 2026/8/23 ox-alpha（オックスアルファ）とは？無料1Mコンテキストの謎モデル、性能の数字に要注意](https://ai-garage.jp/news/ox-alpha-stealth-model/)[![AIのベンチマークはもう限界？60本中29本が「飽和」、ICML 2026採択の研究で分かった性能比較の落とし穴だよ](https://ai-garage.jp/images/news-heroes/ai-benchmark-saturation-study-card.webp) 2026/8/5 AIのベンチマークはもう限界？60本中29本が「飽和」、ICML 2026採択の研究で分かった性能比較の落とし穴だよ](https://ai-garage.jp/news/ai-benchmark-saturation-study/)[![Claude Fable 5 は再開済み｜復活はいつ？今の料金と Opus 5 の違い](https://ai-garage.jp/images/news-heroes/fable-5-release-status-card.webp) 2026/8/1 Claude Fable 5 は再開済み｜復活はいつ？今の料金と Opus 5 の違い](https://ai-garage.jp/news/fable-5-release-status/)[![Claudeはどれを使う？Opus 5.5・Sonnet 5.5・Fable 5.1の違いと料金](https://ai-garage.jp/images/news-heroes/claude-model-choice-august-2026-card.webp) 2026/7/28 Claudeはどれを使う？Opus 5.5・Sonnet 5.5・Fable 5.1の違いと料金](https://ai-garage.jp/news/claude-model-choice-august-2026/) 📎 SOURCES ## 一次ソース - [→ SWE-Bench 公式](https://www.swebench.com/) - [→ SWE-Bench 元論文（arXiv）](https://arxiv.org/abs/2310.06770) - [→ OpenAI：Introducing SWE-bench Verified](https://openai.com/index/introducing-swe-bench-verified/) - [→ Anthropic：Claude Opus 5 システムカード（2026-07-24・SWE-bench Verified 96.0%）](https://www-cdn.anthropic.com/c5fbac3f0b1280a933ebd26d3cb8bb9f5bdeaf48/Claude%20Opus%205%20System%20Card.pdf) ベンチマーク カテゴリの用語 [Aider Polyglot Leaderboard](https://ai-garage.jp/glossary/aider-leaderboard/)[AIME](https://ai-garage.jp/glossary/aime/)[AIコスパ指数](https://ai-garage.jp/glossary/ai-cospa-index/)[Chatbot Arena](https://ai-garage.jp/glossary/arena/)[GPQA](https://ai-garage.jp/glossary/gpqa/)[HumanEval](https://ai-garage.jp/glossary/humaneval/)[Humanity's Last Exam（HLE）](https://ai-garage.jp/glossary/hle/)[Intelligence Index](https://ai-garage.jp/glossary/intelligence-index/)[LMArena（Chatbot Arena）](https://ai-garage.jp/glossary/lmarena/)[MMLU](https://ai-garage.jp/glossary/mmlu/)[SWE-Bench Pro](https://ai-garage.jp/glossary/swe-bench-pro/)[Terminal-Bench](https://ai-garage.jp/glossary/terminal-bench/)[ベンチマーク](https://ai-garage.jp/glossary/benchmark/)[ロングコンテキスト評価](https://ai-garage.jp/glossary/context-eval/) [← 前の用語 MMLU](https://ai-garage.jp/glossary/mmlu/) [次の用語 → SWE-Bench Pro](https://ai-garage.jp/glossary/swe-bench-pro/) NEXT [FOR BEGINNERS AI初心者ガイド 用語が多くて混乱したら、まず全体像から。AI初心者が「何から始める？」を5分で。](https://ai-garage.jp/beginners/) [GLOSSARY AI用語集 一覧へ 96語をカテゴリ・検索で引ける。気になる用語をまとめてチェック。](https://ai-garage.jp/glossary/)