--- title: "HumanEval とは？OpenAIが作ったコード生成の定番テスト。 | AI用語集 - ai-garage" description: "HumanEvalを初心者向けにやさしく解説。OpenAIが作ったコード生成の定番テスト。 OpenAI が 2021 年に発表した、コード生成 AI を評価する定番ベンチマーク。" source: https://ai-garage.jp/glossary/humaneval/ --- ベンチマーク # HumanEvalとは？ 最終更新 2026年7月6日 OpenAIが作ったコード生成の定番テスト。 ⚡ 30秒でわかる ## HumanEval の主なポイント - 1 OpenAI が 2021 年に発表した、コード生成 AI を評価する定番ベンチマーク。 - 2 164 個の Python 関数問題を解かせ、付属のユニットテストが全部通れば正解とする。 - 3 採点指標は pass@k（k 回生成して 1 回でも正解できる確率）。 - 4 最新モデルはほぼ満点に近く、差がつきにくくなっている（性能が飽和ぎみ）。 - 5 より実践的な SWE-Bench / LiveCodeBench などが後継として使われている。 📖 詳しく ## HumanEval とは HumanEval（ヒューマンイーバル）は、AI にプログラムを書かせて、その答えが正しく動くかをテストで判定する、コード生成の定番[ベンチマーク](https://ai-garage.jp/glossary/benchmark/)です。2021 年に OpenAI が発表したもので、164 個の Python 関数問題が用意され、AI が書いたコードが付属のユニットテスト（自動チェック用の小さなテスト）を全部通れば正解とカウントします。AI コーディングの「実力」を客観的な数字で比べられる初めての標準テストとして広まり、各モデルの強さを語るときの共通ものさしになりました。たとえるなら、料理人に「決められたお題の料理を作らせて、味見係（テスト）が合格を出すか」で腕前を採点するイメージです。ただし最近の高性能モデルはほぼ満点を取ってしまい差がつかなくなったため、現在は実際の GitHub のバグ修正を解かせる [SWE-Bench](https://ai-garage.jp/glossary/swe-bench/) など、より難しい後継ベンチマークが主役になりつつあります。 ❓ FAQ ## よくある質問 Q. HumanEval とは何ですか？ A. AI に Python の関数を書かせて、その正しさを自動テストで判定するコード生成ベンチマークです。2021 年に OpenAI が公開し、164 問の課題で構成されます。AI のプログラミング能力を数値で比較するための、業界標準のものさしとして広く使われてきました。 Q. HumanEval と SWE-Bench の違いは？ A. HumanEval は『短い 1 つの関数を正しく書けるか』を測る基礎的なテストです。一方 SWE-Bench は『実在する OSS のバグを丸ごと直せるか』というはるかに実戦的で難しい課題を測ります。今の高性能モデルでは HumanEval は満点近くで差がつかないため、評価の主役は SWE-Bench 側に移ってきています。 Q. pass@1 や pass@k という数字は何を意味しますか？ A. pass@k は『AI に k 回コードを書かせて、そのうち 1 回でも正解できる確率』を表す指標です。pass@1 は一発勝負での正答率なので、実用上もっとも重視されます。たとえば pass@1 が 90% なら、一度の生成で 9 割の問題を正しく解けるという意味です。 Q. 初心者は HumanEval の数字をどう見ればいい？ A. 『コード生成 AI の基礎体力テスト』くらいに捉えるのがおすすめです。ただし最新モデルはどれも高得点で横並びになっているため、モデル選びの決め手にはなりにくい点に注意してください。実際の開発力を比べたいときは SWE-Bench など、より難しいベンチマークのスコアも合わせて確認しましょう。 🔗 関連 ## あわせて読みたい 関連用語 [SWE-Bench](https://ai-garage.jp/glossary/swe-bench/)[ベンチマーク](https://ai-garage.jp/glossary/benchmark/)[SWE-Bench](https://ai-garage.jp/glossary/swe-bench/)[ベンチマーク](https://ai-garage.jp/glossary/benchmark/)[Agentic Coding](https://ai-garage.jp/glossary/agentic-coding/)[LLM（大規模言語モデル）](https://ai-garage.jp/glossary/llm/) 関連 AI モデル [Codex — OpenAI ChatGPT 統合のコーディング相棒。2026-09-29 から GPT-6.1 Sol が既定になり、推奨モデルは GPT-6 Astra・GPT-6.1 Sol・GPT-6 Luna の3本。in-app browser でローカルUIまで触れる。](https://ai-garage.jp/models/codex/)[Claude Code — Anthropic Claude Opus 5.5 を既定に、長い大仕事向けの Claude Fable 5.1 も呼べるエージェント開発のフラッグシップ。ターミナルからスマホまで同じセッションで続けられる。](https://ai-garage.jp/models/claude-code/)[GitHub Copilot — GitHub (Microsoft) エディタ内で動くコーディングAIの定番。AI Credits の従量課金制で、モデルを選んで使う。](https://ai-garage.jp/models/copilot-code/) 関連トピック [AIコーディング戦争 — 開発の現場が完全に書き換わる Cursor・Claude Code・Codex・Copilot Agent が「相棒」から「代理人」へ。1人で5人分の生産性が現実に。](https://ai-garage.jp/topics/ai-coding-war/) 📰 この用語が登場する記事 ## 「HumanEval」が出てくるニュース [![AIのベンチマークはもう限界？60本中29本が「飽和」、ICML 2026採択の研究で分かった性能比較の落とし穴だよ](https://ai-garage.jp/images/news-heroes/ai-benchmark-saturation-study-card.webp) 2026/8/5 AIのベンチマークはもう限界？60本中29本が「飽和」、ICML 2026採択の研究で分かった性能比較の落とし穴だよ](https://ai-garage.jp/news/ai-benchmark-saturation-study/)[![AIのコーディング力が5年で伸びたワケ、NTT開発者がタネ明かし](https://ai-garage.jp/images/news-heroes/ntt-tsuzumi2-ai-coding-evolution-analysis-card.webp) 2026/6/18 AIのコーディング力が5年で伸びたワケ、NTT開発者がタネ明かし](https://ai-garage.jp/news/ntt-tsuzumi2-ai-coding-evolution-analysis/) 📎 SOURCES ## 一次ソース - [→ Evaluating Large Language Models Trained on Code（HumanEval 原論文 / OpenAI Codex, 2021）](https://arxiv.org/abs/2107.03374) - [→ OpenAI HumanEval データセット（GitHub）](https://github.com/openai/human-eval) ベンチマーク カテゴリの用語 [Aider Polyglot Leaderboard](https://ai-garage.jp/glossary/aider-leaderboard/)[AIME](https://ai-garage.jp/glossary/aime/)[AIコスパ指数](https://ai-garage.jp/glossary/ai-cospa-index/)[Chatbot Arena](https://ai-garage.jp/glossary/arena/)[GPQA](https://ai-garage.jp/glossary/gpqa/)[Humanity's Last Exam（HLE）](https://ai-garage.jp/glossary/hle/)[Intelligence Index](https://ai-garage.jp/glossary/intelligence-index/)[LMArena（Chatbot Arena）](https://ai-garage.jp/glossary/lmarena/)[MMLU](https://ai-garage.jp/glossary/mmlu/)[SWE-Bench](https://ai-garage.jp/glossary/swe-bench/)[SWE-Bench Pro](https://ai-garage.jp/glossary/swe-bench-pro/)[Terminal-Bench](https://ai-garage.jp/glossary/terminal-bench/)[ベンチマーク](https://ai-garage.jp/glossary/benchmark/)[ロングコンテキスト評価](https://ai-garage.jp/glossary/context-eval/) [← 前の用語 GPQA](https://ai-garage.jp/glossary/gpqa/) [次の用語 → Humanity's Last Exam（HLE）](https://ai-garage.jp/glossary/hle/) NEXT [FOR BEGINNERS AI初心者ガイド 用語が多くて混乱したら、まず全体像から。AI初心者が「何から始める？」を5分で。](https://ai-garage.jp/beginners/) [GLOSSARY AI用語集 一覧へ 96語をカテゴリ・検索で引ける。気になる用語をまとめてチェック。](https://ai-garage.jp/glossary/)