--- title: "AIのベンチマークはもう限界？60本中29本が「飽和」、ICML 2026採択の研究で分か… | AIニュース - ai-garage" description: "AIのベンチマークはもう限界？ICML 2026 採択の研究では60本中29本（約48%）が「飽和」＝上位モデルの点数が誤差の範囲でしか違わない状態だったよ。古いものほど飽和しやすく、24か月以内42.9%に対し60か月超は54.5%だったんだ。" source: https://ai-garage.jp/news/ai-benchmark-saturation-study/ --- News 2026年8月5日 # AIのベンチマークはもう限界？60本中29本が「飽和」、ICML 2026採択の研究で分かった性能比較の落とし穴だよ AIのベンチマークはもう限界？ICML 2026 採択の研究では60本中29本（約48%）が「飽和」＝上位モデルの点数が誤差の範囲でしか違わない状態だったよ。古いものほど飽和しやすく、24か月以内42.9%に対し60か月超は54.5%だったんだ。 SY [Seiya Yagashiro](https://ai-garage.jp/site-info/) Editor-in-Chief, ai-garage [#ベンチマーク](https://ai-garage.jp/tags/%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF/)[#AI評価](https://ai-garage.jp/tags/AI%E8%A9%95%E4%BE%A1/)[#モデル比較](https://ai-garage.jp/tags/%E3%83%A2%E3%83%87%E3%83%AB%E6%AF%94%E8%BC%83/) この記事の要点 - AI の実力をはかるベンチマーク60本を調べたところ、29本（約48%）が「高い」以上の飽和状態だったよ。うち14本は最上位の「とても高い」区分（飽和の指標が0.9以上）に入っているんだ。 - 飽和しやすさに一貫して効いていたのは「ベンチマークの年齢」と「問題数の多さ」の2つ。公開から24か月以内のもので42.9%、60か月を超えたもので54.5%が飽和していたよ。 - テスト問題を非公開にしても飽和は防げなかったんだ（調べた60本のうち非公開はたった4本）。代わりに効いていたのは、専門家が問題を作ったかどうかだよ。 - だからきみが比較表を見るときは、順位そのものより「差が何点あるか」と「そのベンチマークが何歳か」を見るのがいいよ。1〜2点の差は、誤差の範囲かもしれないんだ。 やっほー、ぼくてんびん丸！ AI のモデルを選ぶとき、みんな**ベンチマーク**（実力をはかるテストのこと）の点数を見るよね。ぼくもこのサイトで [AIモデル比較表](https://ai-garage.jp/compare/) を作っていて、毎回この点数と向き合ってるんだ。 でもさ、最近ちょっと変だなと思ってたことがあってね。**どのモデルも点数が高すぎて、ほとんど差がつかない**んだよ。90.2 と 90.8 みたいな並びを見て「これ、本当に差があるのかな？」って思ったこと、きみもない？ その違和感を、**60本のベンチマークを調べて数字で確かめた研究**が出ていたんだ。今日はこれを整理していくね。 ## 何があったの？ 論文のタイトルは「**When AI Benchmarks Plateau: A Systematic Study of Benchmark Saturation**」（AI ベンチマークが頭打ちになるとき）。arXiv に **2026年2月18日**に出て、**6月29日**に改訂版が公開されているよ。**機械学習の主要な国際会議 ICML 2026 に採択された**論文で、**2026年8月5日**に Hacker News で話題になっていたんだ。 やったことはシンプルで、こんな内容だよ。 - 言語モデル向けのベンチマーク **60本**を集める - 飽和に関係しそうな **14個の性質**（年齢、問題数、テストが公開されているか、誰が問題を作ったか、など）で分類する - それぞれがどれくらい「飽和」しているかを測る そして出た結論が、**60本のうち29本（約48%）が「高い」以上の飽和状態**、というものだったんだ。そのうち **14本**は、いちばん上の「とても高い」区分に入っていたよ。ほぼ半分が、上位モデルの見分けに使えなくなっているということだね。 ## 「飽和」って、どういう状態？ ここでいう飽和は、「点数が満点に近い」という意味だけじゃないんだ。論文の定義はこう。 > 上位のモデル同士が統計的に区別できず、点数が実際に観測される上限に近づいている状態 大事なのは前半の「**区別できない**」のほうだよ。たとえば A が 90.2 点、B が 90.8 点だったとして、測り方のブレのほうが 0.6 点より大きかったら、この差には意味がない。**順位はつくけど、その順位が実力を表していない**——これが飽和なんだ。 論文はこれを **S_index** という 0〜1 の指標にしていて、区分はこうなっているよ。 | 区分 | S_index | 意味 | | --- | --- | --- | | とても低い | 0.01 未満 | まだまだ差がつく | | 低い | 0.01〜0.3 | 差はつく | | 中くらい | 0.3〜0.7 | 上位が近づいてきた | | **高い** | **0.7〜0.9** | **上位の見分けが難しい** | | **とても高い** | **0.9 以上** | **ほぼ見分けられない** | 「高い」以上が29本、そのうち「とても高い」が14本、という内訳だね。 ![ベンチマークの飽和を示す図解。60本のうち、とても高い飽和が14本（23%）、高い飽和が15本（25%）、それ以外が31本（52%）。飽和していた割合は公開24か月以内が42.9%、公開60か月超が54.5%。飽和とは上位モデルの点数が誤差の範囲に収まり見分けられなくなった状態](https://ai-garage.jp/images/article-figures/ai-benchmark-saturation-study-1.webp) ## 効いていたのは「年齢」と「問題数」だった 14個の性質を調べた結果、**一貫して効果が確認できたのは2つだけ**だったよ。 **ひとつ目は年齢。** 公開からの月数で分けると、こうなっていたんだ。 | ベンチマークの年齢 | 飽和していた割合 | | --- | --- | | 24か月（2年）以内 | **42.9%** | | 60か月（5年）超 | **54.5%** | 対象には公開から1か月のものから **114か月**（9年半）のものまで含まれていて、**歳を取るほど飽和しやすくなる**という傾向が出ているね。 **ふたつ目は問題数の多さ。** テストの問題数が多いほど飽和しにくかったんだ。これは直感的にも分かる話で、問題が10問しかなければ1問の正解・不正解で10点動いちゃうけど、1000問あれば細かい差まで見える。論文はこれを「**評価の解像度**」と呼んでいるよ。 いっぽうで、**関係が見つからなかった**ものもあるんだ。テストが公開されているかどうか、答え方が選択式か記述式か、問題がテンプレートから作られているか——このあたりは、飽和との間に安定した関係が見られなかったよ。 ## いちばん意外だったのは「非公開」が効かなかったこと ぼくがこの論文でいちばん「へえ」と思ったのはここ。 **テスト問題を非公開にしても、飽和は防げていなかった**んだ。論文の言い方はこう。 > 年齢を考慮すると、非公開のテストセットが飽和を系統的に減らすことはない 「問題が公開されているから、モデルがそれを覚えちゃって点数が上がるんでしょ」——ぼくはずっとそう思ってた。でも、公開56本と非公開4本を比べても、飽和の分布は似ていたんだって。 ただしここは正直に書いておくね。**非公開はたった4本しかない**ので、この結論はサンプルが少ないんだ。論文自身も、非公開だから安心とは言えない、という言い方に留めているよ。 代わりに効いていたのが「**誰が問題を作ったか**」。専門家が手をかけて作ったベンチマークは、**同じくらいの年齢でも飽和が低かった**んだ。実際、論文が「長く使われているのに飽和していない例」として挙げているのは、**BIG-Bench Hard** と **ARC-AGI**。逆に「急速に飽和した例」として名前が出ているのが [HumanEval](https://ai-garage.jp/glossary/humaneval/) だよ。上位のシステム同士がほぼ同じ点数になっている、と書かれているんだ。 もうひとつ紹介されている手が **Dynabench** のやり方で、これは**評価する問題を継続的に入れ替えていく**というもの。歳を取ると飽和するなら、歳を取らせなければいい、という発想だね。 ## じゃあ、ぼくらは数字をどう読めばいい？ 論文は作る側への提言を4つ出しているよ。 1. **評価の解像度を上げる** — 問題数を増やして、モデル間の点差が測定のブレより大きくなるようにする 2. **問題を入れ替え続ける** — 定期的な入れ替え、あえて難しい問題を集める、隠した一部を回していく 3. **ブレも一緒に報告する** — 最高点だけでなく、信頼区間や上位モデルのばらつきも出す 4. **引退の基準を決めておく** — 上位が見分けられなくなったら、改訂・拡張・引退する手順をあらかじめ決める で、これを**使う側**のぼくらの言葉に直すと、こうなると思うんだ。 - **1〜2点の差で選ばない。** 飽和したベンチマークでは、その差は測り方のブレに埋もれている可能性があるよ - **そのベンチマークが何歳かを見る。** 5年もののテストで上位が団子なら、それは実力が並んだというより、テストのほうが役目を終えかけているんだ - **差が小さいときは、別の軸で決める。** 料金、速さ、日本語の得意さ、使いたいツールとつながるか。点数が団子なら、そっちのほうが判断材料として正直だよ このサイトの [AIモデル比較表](https://ai-garage.jp/compare/) でも、[SWE-Bench Verified](https://ai-garage.jp/glossary/swe-bench/) や [HLE](https://ai-garage.jp/glossary/hle/) みたいな比較的新しくて難しいテストを軸にしているのは、まさにここが理由なんだ。数字が並んでいると、つい大小だけで見ちゃうけどね。差が小さいときは、[コスパマトリクス](https://ai-garage.jp/matrix/) みたいに料金と並べて見るほうが、実際の選択には効くと思うよ。 ## ぼくの感想 この論文を読んで、ぼくはちょっとホッとしたんだ。 「最近のモデル、どれも点数が高くて差がわかんないな」って感じてたのは、**ぼくの読み方が浅かったからじゃなくて、ものさしのほうがそうなっていた**ってことだからね。 でも同時に、こわいなとも思った。だってベンチマークの点数って、**モデルを選ぶ理由としていちばん使われている数字**でしょ。それが半分くらい「もう見分けられない」状態だとしたら、ぼくらは見分けられないものを見分けたつもりで選んでいた、ということになる。 たぶんこれから、**ベンチマークは「作って終わり」から「育てて、引退させるもの」に変わっていく**んじゃないかな。論文が引退の手順を決めておこうと書いているのは、そういうことだと思う。テストは永遠には使えない、という前提で運用する時代になるのかもしれないね。 そして使う側のぼくらにできるのは、点数を疑うことじゃなくて、**点数の「差」を疑うこと**だと思うんだ。90.2 と 90.8 は同じくらい、と読めるようになるだけで、モデル選びはずいぶん楽になる気がするよ。 ## まとめ - ICML 2026 に採択された論文が、言語モデル向けベンチマーク **60本**を調べて、**29本**（約48%）が上位モデルを見分けられない「飽和」状態だと示したよ - 一貫して効いていたのは「**年齢**」（24か月以内42.9% → 60か月超54.5%）と「**問題数の多さ**」の2つ - **非公開のテストセットは飽和を防げていなかった**。効いていたのは、専門家が問題を作ったかどうかだよ - 使う側のぼくらは、**順位より「差の大きさ」と「ベンチマークの年齢**」を見るのがいい。差が小さいなら、料金や速さで決めるほうが正直だね ベンチマークは便利な道具だけど、万能のものさしじゃない。**数字が団子になってきたら、それはモデルが横並びになった合図じゃなくて、ものさしを取り替える合図なのかもしれない**よ。ぼくも比較表を作る側として、そこは正直にやっていくね。またね！ よくある質問 Q.AIのベンチマークが飽和するってどういう意味？ A.上位のモデル同士の点数が近づきすぎて、どっちが優秀なのか見分けられなくなった状態のことだよ。論文はこれを「上位モデルが統計的に区別できず、点数が実際に観測される上限に近づいている状態」と定義しているんだ。つまり点数が90点と91点でも、それが実力の差なのか測るときのブレなのか判断できない、ということだよ。 Q.AIのベンチマークはどれくらい飽和しているの？ A.ICML 2026 に採択された論文が言語モデル向けのベンチマーク60本を調べたところ、29本（約48%）が飽和の指標0.7以上の「高い」以上に該当したよ。そのうち14本は0.9以上の「とても高い」区分だったんだ。ほぼ半分が、上位モデルの見分けに使えなくなっている計算になるね。 Q.ベンチマークの点数が1点差なら、そのAIのほうが賢いの？ A.そうとは限らないよ。飽和したベンチマークでは上位モデルの点数が誤差の範囲に収まってしまうので、1〜2点の差に意味があるとは言えないんだ。論文も「最高点だけでなく、信頼区間や上位モデルの点数のばらつきも一緒に出すべき」と提言しているよ。差が小さいときは、順位ではなく料金や速度みたいな別の軸で選ぶほうが現実的だね。 Q.なぜ古いベンチマークほど飽和しやすいの？ A.調べた60本のうち、公開から24か月以内のものは42.9%、60か月（5年）を超えたものは54.5%が飽和していたよ。論文が一貫した効果を確認できたのは「年齢」と「問題数の多さ」の2つで、時間が経つほどモデル側がその課題に慣れていく、という形になっているんだ。対象のベンチマークは公開から1か月のものから114か月のものまで含まれていたよ。 Q.テスト問題を非公開にすれば飽和は防げる？ A.防げなかったよ。論文は「年齢を考慮すると、非公開のテストセットが飽和を系統的に減らすことはない」と結論しているんだ。ただし調べた60本のうち非公開はたった4本（公開は56本）なので、そこは差し引いて読む必要があるね。代わりに効いていたのは、専門家が問題を作っているかどうかで、同じくらいの年齢なら専門家が作ったもののほうが飽和は低かったよ。 Q.HumanEval はもう使えないの？ A.論文は HumanEval を「急速に飽和した」例として挙げていて、上位のシステム同士がほぼ同じ点数になっていると指摘しているよ。逆に BIG-Bench Hard や ARC-AGI は、長く使われているのに飽和していない例として挙げられているんだ。使えないというより、上位モデルの優劣を決める用途には向かなくなった、と考えるのがいいと思うよ。 参考・一次ソース - [→ arXiv:2602.16763 — When AI Benchmarks Plateau: A Systematic Study of Benchmark Saturation（v1 2026-02-18 / v3 2026-06-29、ICML 2026 採択）](https://arxiv.org/abs/2602.16763) - [→ 同論文 HTML 版（飽和の定義・S_index の区分・60本の内訳・年齢別の飽和率）](https://arxiv.org/html/2602.16763v3) - [→ Hacker News：When AI Benchmarks Plateau（2026-08-05 に話題化）](https://news.ycombinator.com/item?id=49170915) この記事に出てきた用語・モデル 用語をやさしく解説 [ベンチマーク](https://ai-garage.jp/glossary/benchmark/)[HumanEval](https://ai-garage.jp/glossary/humaneval/)[SWE-Bench](https://ai-garage.jp/glossary/swe-bench/)[Humanity's Last Exam（HLE）](https://ai-garage.jp/glossary/hle/) この記事をシェア [Xでシェア](https://twitter.com/intent/tweet?text=AI%E3%81%AE%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF%E3%81%AF%E3%82%82%E3%81%86%E9%99%90%E7%95%8C%EF%BC%9F60%E6%9C%AC%E4%B8%AD29%E6%9C%AC%E3%81%8C%E3%80%8C%E9%A3%BD%E5%92%8C%E3%80%8D%E3%80%81ICML%202026%E6%8E%A1%E6%8A%9E%E3%81%AE%E7%A0%94%E7%A9%B6%E3%81%A7%E5%88%86%E3%81%8B%E3%81%A3%E3%81%9F%E6%80%A7%E8%83%BD%E6%AF%94%E8%BC%83%E3%81%AE%E8%90%BD%E3%81%A8%E3%81%97%E7%A9%B4%E3%81%A0%E3%82%88%20%7C%20ai-garage&url=https%3A%2F%2Fai-garage.jp%2Fnews%2Fai-benchmark-saturation-study%2F) [はてなブックマークに追加](https://b.hatena.ne.jp/add?mode=confirm&url=https%3A%2F%2Fai-garage.jp%2Fnews%2Fai-benchmark-saturation-study%2F) 引用文は「『タイトル』 - ai-garage.jp URL」の形でコピーされます。出典として URL を残したまま貼れます。 関連記事 [![Claude Fable 5 と GPT-5.6 はどっちが強い？物理シミュ検証で首位は Fable 5、でもコストは Sol の5.5倍——差を分けたのはモデルより「道具」だったよ](https://ai-garage.jp/images/news-heroes/fable-5-vs-gpt-5-6-physical-ai-card.webp)2026/8/7Claude Fable 5 と GPT-5.6 はどっちが強い？物理シミュ検証で首位は Fable 5、でもコストは Sol の5.5倍——差を分けたのはモデルより「道具」だったよ](https://ai-garage.jp/news/fable-5-vs-gpt-5-6-physical-ai/)[![AIの賢さは誰が測ってる？Ai2が『olmo-eval』を公開したよ](https://ai-garage.jp/images/news-heroes/allenai-olmo-eval-llm-evaluation-workbench-card.webp)2026/6/13AIの賢さは誰が測ってる？Ai2が『olmo-eval』を公開したよ](https://ai-garage.jp/news/allenai-olmo-eval-llm-evaluation-workbench/)[![ベンチマークのスコアが3倍・出力トークンは6分の1に——ARC-AGI-3 で効いた「考えを残す」と compaction の2設定](https://ai-garage.jp/images/news-heroes/arc-agi-3-retained-reasoning-compaction-card.webp)2026/7/30ベンチマークのスコアが3倍・出力トークンは6分の1に——ARC-AGI-3 で効いた「考えを残す」と compaction の2設定](https://ai-garage.jp/news/arc-agi-3-retained-reasoning-compaction/)[![OpenAI「GPT-5.6」登場！Solが61%速くて半額、3兄弟モデル](https://ai-garage.jp/images/v2/scene_data.jpg)2026/7/10OpenAI「GPT-5.6」登場！Solが61%速くて半額、3兄弟モデル](https://ai-garage.jp/news/openai-gpt-5-6/) 執筆 Seiya Yagashiro（編集長） 公開・更新 公開 2026/8/5 この記事は AI（Claude / ChatGPT）の支援を受けて作成し、編集長による事実確認を経て公開しています。 誤りを発見した方は [@tenbin_maru](https://x.com/tenbin_maru) のDMまでご連絡ください。 詳しい編集方針は [編集方針](https://ai-garage.jp/editorial-policy/) ページをご覧ください。