ベンチマーク
MMLUとは？
別名: Massive Multitask Language Understanding
AIの「総合学力テスト」みたいなベンチ。
⚡ 30秒でわかる
MMLU の主なポイント
- 1 57科目の選択問題で、AIの幅広い知識を測る総合ベンチマークです。
- 2 ここ数年でほぼ満点に近づいたため、今は MMLU-Pro などの上位版が主流になりつつあります。
📖 詳しく
MMLU とは
57科目の選択問題で、AIの幅広い知識を測る総合ベンチマークです。
ここ数年でほぼ満点に近づいたため、今は MMLU-Pro などの上位版が主流になりつつあります。
❓ FAQ
よくある質問
- Q. MMLU とは何ですか？
- A. AIの「総合学力テスト」みたいなベンチ。 57科目の選択問題で、AIの幅広い知識を測る総合ベンチマークです。
- Q. MMLU の主な特徴は？
- A. 57科目の選択問題で、AIの幅広い知識を測る総合ベンチマークです。 ここ数年でほぼ満点に近づいたため、今は MMLU-Pro などの上位版が主流になりつつあります。
- Q. MMLU に関連する用語は？
- A. 「ベンチマーク」などが関連しています。
- Q. MMLU の別名は？
- A. Massive Multitask Language Understanding とも呼ばれます。