ベンチマーク
MMLUとは？
別名: Massive Multitask Language Understanding
AIの「総合学力テスト」みたいなベンチ。
⚡ 30秒でわかる
MMLU の主なポイント
- 1 MMLUは57科目・約1万5千問の4択問題でAIの幅広い知識を測る総合ベンチマーク
- 2 2020年にHendrycksらが発表し、AIの「総合学力テスト」として業界標準になった
- 3 新モデルの発表では必ずスコアが比較に使われる代表的な指標のひとつ
- 4 トップモデルが90%超に達して飽和したため、現在は MMLU-Pro / GPQA / HLE など難化版が主流に
- 5 高スコア＝万能ではなく、学習データへの混入（汚染）や個別タスク性能は別途確認が必要
📖 詳しく
MMLU とは
MMLU（Massive Multitask Language Understanding）は、AIの幅広い知識と理解力を測る代表的な総合ベンチマークです。歴史・法律・医学・数学・物理・倫理など57科目にわたる4択問題（合計1万5千問前後）を解かせ、正答率でモデルの「総合学力」を採点します。各社の新モデル発表では必ずと言っていいほどスコアが引き合いに出されるため、AIの賢さを横並びで比べる共通の物差しとして重要です。学校の共通テストや模試のAI版だとイメージすると分かりやすく、受験者（＝モデル）が違っても同じ問題なら実力を比較できる、という発想です。ただし2020年の登場から数年でトップモデルが90%超に達して差がつきにくくなり（飽和）、現在はより難しい MMLU-Pro や GPQA、HLE などの上位版へ主役が移りつつあります。点数が高い＝あらゆる用途で最強とは限らず、問題が学習データに混ざる「汚染」もあるため、1つの数字を鵜呑みにしないことが大切です。
❓ FAQ
よくある質問
- Q. MMLUとは何ですか？
- A. MMLU（Massive Multitask Language Understanding）は、AIモデルの幅広い知識と理解力を測る総合ベンチマークです。歴史・法律・医学・数学など57科目の4択問題（合計1万5千問前後）を解かせ、その正答率で「総合学力」を採点します。学校の共通テストのAI版だと考えると分かりやすいです。
- Q. MMLUとMMLU-Proは何が違うの？
- A. MMLU-Proは、飽和した（＝差がつかなくなった）MMLUを難しくした上位版です。選択肢を4つから10個に増やし、推論を要する難問に絞ることで、最新の賢いモデル同士でも点差がつくように設計されています。今からスコアを比較するなら、より差が見えるMMLU-Proを見るのがおすすめです。
- Q. MMLUとSWE-BenchやGPQAはどう違う？
- A. MMLUは「幅広い知識」を4択で測るのに対し、SWE-Benchは実際のプログラムのバグ修正、GPQAはネット検索でも答えが出ない博士レベルの理系難問を測ります。知識の広さがMMLU、コーディング実力がSWE-Bench、深い推論力がGPQAと覚えると整理しやすいです。
- Q. 初心者はMMLUのスコアをどう見ればいい？
- A. 「同じ4択問題での比較なので、ざっくりした知識量の目安になる」と捉えれば十分です。ただしトップモデルはすでに90%超で差がつきにくいため、1つの数字を鵜呑みにせず、SWE-Benchなど他のベンチや実際の使用感も合わせて判断するのが安全です。
🔗 関連