AIのベンチマークはもう限界？60本中29本が「飽和」、ICML 2026採択の研究で分かった性能比較の落とし穴だよ

やっほー、ぼくてんびん丸！

AI のモデルを選ぶとき、みんなベンチマーク（実力をはかるテストのこと）の点数を見るよね。ぼくもこのサイトで AIモデル比較表 を作っていて、毎回この点数と向き合ってるんだ。

でもさ、最近ちょっと変だなと思ってたことがあってね。どのモデルも点数が高すぎて、ほとんど差がつかないんだよ。90.2 と 90.8 みたいな並びを見て「これ、本当に差があるのかな？」って思ったこと、きみもない？

その違和感を、60本のベンチマークを調べて数字で確かめた研究が出ていたんだ。今日はこれを整理していくね。

何があったの？

論文のタイトルは「When AI Benchmarks Plateau: A Systematic Study of Benchmark Saturation」（AI ベンチマークが頭打ちになるとき）。arXiv に 2026年2月18日に出て、6月29日に改訂版が公開されているよ。機械学習の主要な国際会議 ICML 2026 に採択された論文で、2026年8月5日に Hacker News で話題になっていたんだ。

やったことはシンプルで、こんな内容だよ。

• 言語モデル向けのベンチマーク 60本を集める
• 飽和に関係しそうな 14個の性質（年齢、問題数、テストが公開されているか、誰が問題を作ったか、など）で分類する
• それぞれがどれくらい「飽和」しているかを測る

そして出た結論が、60本のうち29本（約48%）が「高い」以上の飽和状態、というものだったんだ。そのうち 14本は、いちばん上の「とても高い」区分に入っていたよ。ほぼ半分が、上位モデルの見分けに使えなくなっているということだね。

「飽和」って、どういう状態？

ここでいう飽和は、「点数が満点に近い」という意味だけじゃないんだ。論文の定義はこう。

上位のモデル同士が統計的に区別できず、点数が実際に観測される上限に近づいている状態

大事なのは前半の「区別できない」のほうだよ。たとえば A が 90.2 点、B が 90.8 点だったとして、測り方のブレのほうが 0.6 点より大きかったら、この差には意味がない。順位はつくけど、その順位が実力を表していない——これが飽和なんだ。

論文はこれを S_index という 0〜1 の指標にしていて、区分はこうなっているよ。

「高い」以上が29本、そのうち「とても高い」が14本、という内訳だね。

効いていたのは「年齢」と「問題数」だった

14個の性質を調べた結果、一貫して効果が確認できたのは2つだけだったよ。

ひとつ目は年齢。 公開からの月数で分けると、こうなっていたんだ。

対象には公開から1か月のものから 114か月（9年半）のものまで含まれていて、歳を取るほど飽和しやすくなるという傾向が出ているね。

ふたつ目は問題数の多さ。 テストの問題数が多いほど飽和しにくかったんだ。これは直感的にも分かる話で、問題が10問しかなければ1問の正解・不正解で10点動いちゃうけど、1000問あれば細かい差まで見える。論文はこれを「評価の解像度」と呼んでいるよ。

いっぽうで、関係が見つからなかったものもあるんだ。テストが公開されているかどうか、答え方が選択式か記述式か、問題がテンプレートから作られているか——このあたりは、飽和との間に安定した関係が見られなかったよ。

いちばん意外だったのは「非公開」が効かなかったこと

ぼくがこの論文でいちばん「へえ」と思ったのはここ。

テスト問題を非公開にしても、飽和は防げていなかったんだ。論文の言い方はこう。

年齢を考慮すると、非公開のテストセットが飽和を系統的に減らすことはない

「問題が公開されているから、モデルがそれを覚えちゃって点数が上がるんでしょ」——ぼくはずっとそう思ってた。でも、公開56本と非公開4本を比べても、飽和の分布は似ていたんだって。

ただしここは正直に書いておくね。非公開はたった4本しかないので、この結論はサンプルが少ないんだ。論文自身も、非公開だから安心とは言えない、という言い方に留めているよ。

代わりに効いていたのが「誰が問題を作ったか」。専門家が手をかけて作ったベンチマークは、同じくらいの年齢でも飽和が低かったんだ。実際、論文が「長く使われているのに飽和していない例」として挙げているのは、BIG-Bench Hard と ARC-AGI。逆に「急速に飽和した例」として名前が出ているのが HumanEval だよ。上位のシステム同士がほぼ同じ点数になっている、と書かれているんだ。

もうひとつ紹介されている手が Dynabench のやり方で、これは評価する問題を継続的に入れ替えていくというもの。歳を取ると飽和するなら、歳を取らせなければいい、という発想だね。

じゃあ、ぼくらは数字をどう読めばいい？

論文は作る側への提言を4つ出しているよ。

1. 評価の解像度を上げる — 問題数を増やして、モデル間の点差が測定のブレより大きくなるようにする
2. 問題を入れ替え続ける — 定期的な入れ替え、あえて難しい問題を集める、隠した一部を回していく
3. ブレも一緒に報告する — 最高点だけでなく、信頼区間や上位モデルのばらつきも出す
4. 引退の基準を決めておく — 上位が見分けられなくなったら、改訂・拡張・引退する手順をあらかじめ決める

で、これを使う側のぼくらの言葉に直すと、こうなると思うんだ。

• 1〜2点の差で選ばない。 飽和したベンチマークでは、その差は測り方のブレに埋もれている可能性があるよ
• そのベンチマークが何歳かを見る。 5年もののテストで上位が団子なら、それは実力が並んだというより、テストのほうが役目を終えかけているんだ
• 差が小さいときは、別の軸で決める。 料金、速さ、日本語の得意さ、使いたいツールとつながるか。点数が団子なら、そっちのほうが判断材料として正直だよ

このサイトの AIモデル比較表 でも、SWE-Bench Verified や HLE みたいな比較的新しくて難しいテストを軸にしているのは、まさにここが理由なんだ。数字が並んでいると、つい大小だけで見ちゃうけどね。差が小さいときは、コスパマトリクス みたいに料金と並べて見るほうが、実際の選択には効くと思うよ。

ぼくの感想

この論文を読んで、ぼくはちょっとホッとしたんだ。

「最近のモデル、どれも点数が高くて差がわかんないな」って感じてたのは、ぼくの読み方が浅かったからじゃなくて、ものさしのほうがそうなっていたってことだからね。

でも同時に、こわいなとも思った。だってベンチマークの点数って、モデルを選ぶ理由としていちばん使われている数字でしょ。それが半分くらい「もう見分けられない」状態だとしたら、ぼくらは見分けられないものを見分けたつもりで選んでいた、ということになる。

たぶんこれから、ベンチマークは「作って終わり」から「育てて、引退させるもの」に変わっていくんじゃないかな。論文が引退の手順を決めておこうと書いているのは、そういうことだと思う。テストは永遠には使えない、という前提で運用する時代になるのかもしれないね。

そして使う側のぼくらにできるのは、点数を疑うことじゃなくて、点数の「差」を疑うことだと思うんだ。90.2 と 90.8 は同じくらい、と読めるようになるだけで、モデル選びはずいぶん楽になる気がするよ。

まとめ

• ICML 2026 に採択された論文が、言語モデル向けベンチマーク 60本を調べて、29本（約48%）が上位モデルを見分けられない「飽和」状態だと示したよ
• 一貫して効いていたのは「年齢」（24か月以内42.9% → 60か月超54.5%）と「問題数の多さ」の2つ
• 非公開のテストセットは飽和を防げていなかった。効いていたのは、専門家が問題を作ったかどうかだよ
• 使う側のぼくらは、順位より「差の大きさ」と「ベンチマークの年齢」を見るのがいい。差が小さいなら、料金や速さで決めるほうが正直だね

ベンチマークは便利な道具だけど、万能のものさしじゃない。数字が団子になってきたら、それはモデルが横並びになった合図じゃなくて、ものさしを取り替える合図なのかもしれないよ。ぼくも比較表を作る側として、そこは正直にやっていくね。またね！