ARC-AGI-3 はどんなベンチマーク？

初めて触る2Dのパズルゲームを、説明なしで遊んでルールを自分で見つけ、攻略できるかを測る試験です。ARC Prize が作っていて、デモ用のゲームは25本公開されています。この試験での GPT-5.6 Sol のスコアは7.8%、ひとつ前の GPT-5.5 は0.4%でした。ただしこの数字は公式の土台（ハーネス）の設定で測ったもので、OpenAI が設定を2つ変えた検証では、公開されている問題セットのスコアが13.3%から38.3%に上がっています。

スコアが3倍になった2つの設定とは？

ひとつは「考えた内容を残す」（retained reasoning）で、公式の土台（ハーネス）が1手動かすたびに捨てていたモデルの考えを、そのまま引き継ぐようにするものです。もうひとつは compaction で、履歴があふれたときに古い順で切り捨てるかわりに、要約してまとめ直します。

設定を変えるとトークンの消費はどうなる？

減ります。OpenAI の検証では、公開されている問題セットのスコアが13.3%から38.3%へ約3倍になったうえに、出力トークンは6分の1になりました。考えた内容を残すことで、1手あたりに考える時間が短くなったと説明されています。

人間はこのベンチマークで何点くらい取れる？

OpenAI 公式の記録から推定すると、人間のテスターの平均は48%とされています。スコアは RHAE という、人間と比べてどれだけ効率よく動けたかを見る指標です。設定変更後の38.3%は、この48%にかなり近づいた数字ということになります。

自分で組んだAIエージェントでも同じことができる？

OpenAI は開発者に対して、古い Chat Completions API ではなく Responses API を使うこと、考えた内容を残すこと、compaction を使うことの3点を推奨しています。GPT-5.6 なら、直前の response ID を渡すだけで考えた内容が自動で引き継がれるとしています。

News 2026年7月30日

ベンチマークのスコアが3倍・出力トークンは6分の1に——ARC-AGI-3 で効いた「考えを残す」と compaction の2設定

2026年7月29日（米国時間）、OpenAI が『ARC-AGI-3 でスコアが3倍になった理由』を公開したよ。モデルを変えたんじゃなくて、API の設定を2つ変えただけ。GPT-5.6 Sol は公式の土台では13.3%、考えた内容を残して古い履歴を圧縮してまとめ直すようにしたら38.3%（人間の平均は48%）。おまけに出力トークンは6分の1。ベンチマークの数字が『モデルの実力』だけを測っているわけじゃない、という話を整理するよ。

Seiya Yagashiro

Editor-in-Chief, ai-garage

#OpenAI #GPT-5.6 #ベンチマーク

ベンチマークのスコアが3倍・出力トークンは6分の1に——ARC-AGI-3 で効いた「考えを残す」と compaction の2設定

この記事の要点

OpenAI が2026年7月29日（米国時間）に公開した検証では、ARC-AGI-3 の公開されている問題セットのスコアが、モデルを変えず API の設定を2つ変えただけで13.3%から38.3%へ約3倍になった。
効いたのは「考えた内容を残す」（retained reasoning）と、履歴があふれたら要約してまとめ直す compaction の2つ。公式の土台（ハーネス＝モデルを動かすしくみ）は1手ごとに考えを捨て、古い履歴から切り捨てていた。
スコアが上がっただけでなく、出力トークンは6分の1に減った。OpenAI 公式の記録から推定した人間のテスターの平均は48%とされ、38.3%はそこにかなり近づいた数字。
OpenAI が開発者に出した推奨は、Responses API を使う・考えた内容を残す・compaction を使うの3点セット。モデルを比べるときも、この設定で測ったベンチマークを見るよう促している。

やっほー、ぼくてんびん丸！

「このモデル、ベンチマークのスコアが低いから弱いんだな」——そう思って表を見てたきみに、ちょっと衝撃的な話が来たよ。モデルは何も変えていないのに、設定を2つ変えただけでスコアが3倍になったんだって。しかも使うトークンは減った。OpenAI が2026年7月29日（米国時間、日本時間だと30日の未明）に公開した検証の話を整理するね。

何があったの？

舞台は ARC-AGI-3 という試験。これは「初めて触る2Dのパズルゲームを、説明なしで遊んで、ルールを自分で見つけて攻略できるか」を測るものなんだ。ARC Prize というところが作っていて、デモ用のゲームは25本公開されていて、きみも遊べるよ。

ここでの OpenAI の最新モデル GPT-5.6 Sol のスコアは、なんと 7.8%。ひとつ前の GPT-5.5 は 0.4% で、ほぼ遊べてもいなかった。数学の未解決問題（cycle double cover 予想）を解いたりポケモンファイアレッドをクリアしたりするモデルが、2Dパズルではまるでダメ——OpenAI はここで「本当にモデルが苦手なのか？」と疑ったんだ。

調べたら、原因はモデルを動かす土台のしくみ（ハーネス）の設定にあった。ChatGPT や Codex で使っている API の設定を2つオンにしただけで、公開されている問題セットのスコアは 13.3% → 38.3% に。約3倍で、出力トークンは6分の1になったんだって。

なお、このスコアは RHAE という「人間と比べてどれだけ効率よく動けたか」の指標。公式の記録から推定すると、人間のテスターの平均は48% らしいよ。38.3% はそこにかなり近づいた数字なんだ。

効いた2つの設定は何？

ひとつめは 「考えた内容を残す」（retained reasoning）。OpenAI のモデルは、答える前に人には見えない場所で考えを書き出す。ところが公式のハーネスは、1手動かすたびにその考えを全部捨てていた。だからモデルは毎ターン、ゲームのルールを一から考え直していたんだ。過去の操作の記録は見えても、「なぜそう動いたか」は消えている状態だね。

ふたつめは compaction（コンパクション）＝会話が長くなったら要約してまとめ直すしくみ。公式ハーネスは、会話が 17万5000文字を超えると古い方から順に捨てるやり方（rolling truncation）だった。これだと序盤に気づいたことがそのまま消えるし、ずっとぎゅうぎゅうに詰まった状態で動くことになる。

	公式のハーネス	OpenAI の実装（Responses API）
考えた内容	1手ごとに破棄	そのまま残す
履歴があふれたら	古い順に切り捨て	要約してまとめ直す（compaction）
上限の目安	17万5000文字	17万5000トークン
GPT-5.6 Sol のスコア	13.3%	38.3%

公式のハーネスと『考えを残す＋compaction』設定の比較図。左は毎手ごとに考えを捨て古い履歴を切り捨ててスコア13.3%、右は考えを引き継ぎ履歴を要約してスコア38.3%。人間の平均は48%

考えを残すようにしたら、1手あたりに考える時間が短くなったうえに、時間をかけて学ぶのが上手くなった。前に自分が何を考えたか覚えているから、一貫した作戦を立てられるようになったんだね。冒頭の動画では、フロンティアモデルが誰も第1面より先へ進めなかったゲームで、GPT-5.6 Sol が6面すべてクリアしたそうだよ。

きみの使い方にどう関係する？

OpenAI が API を使う開発者に出した推奨は、はっきり3つ。①古い Chat Completions API じゃなく Responses API を使う ②考えた内容を残す ③compaction を使う。GPT-5.6 なら、直前の response ID を渡すだけで考えた内容が自動で引き継がれるんだって。

そしてモデルを比べるときは、この設定で測ったベンチマークを見てねとも言っている。ChatGPT や Codex での実際の使い方に近いのはそっち側だから、ということだね。

ぼくの感想

これ、AIエージェントを自分で組んでいる人には結構こわい話だと思う。「モデルが賢いかどうか」より前に、「そのモデルに記憶を持たせてあげているか」で結果が3倍変わるわけだからね。同じモデルで満足いく結果が出ていないとき、原因はモデルじゃなくて土台側にあるかもしれない。

ただ、ARC 側の立場もぼくはわかる気がするんだ。ARC はわざと素っ気ない共通の土台で測っている。理由は「シンプルな土台のほうがモデルの弱点が見えるし、比較が公平になるから」。各社が自分のモデルに合わせて土台をチューニングし始めたら、それはもうモデルの比較じゃなくてチューニングの比較になってしまう。どっちの言い分も筋が通っていて、たぶんこの議論はまだ続くのかもしれない。

ぼくとしては「ベンチマークの数字は、モデル単体の実力ではなく〈モデル＋土台＋指示文〉の合計点」と覚えておくのがいちばん実用的だと思うよ。

まとめ

ARC-AGI-3（初見の2Dゲームを説明なしで攻略する試験）で、GPT-5.6 Sol のスコアは 7.8% と低かった
原因はモデルではなく土台の設定。考えた内容を1手ごとに捨てていた＆古い履歴を切り捨てていた
「考えを残す」＋「compaction」で 13.3% → 38.3%（約3倍）、出力トークンは6分の1。人間の平均は 48%
開発者向け推奨は Responses API ＋考えを残す＋ compaction の3点セット

スコア表を見るときは、数字の下に「どんな設定で測ったの？」がくっついてる——これを覚えておくと、モデル選びで迷いにくくなるよ。じゃあ、またね！

よくある質問

Q.ARC-AGI-3 はどんなベンチマーク？: A.初めて触る2Dのパズルゲームを、説明なしで遊んでルールを自分で見つけ、攻略できるかを測る試験です。ARC Prize が作っていて、デモ用のゲームは25本公開されています。この試験での GPT-5.6 Sol のスコアは7.8%、ひとつ前の GPT-5.5 は0.4%でした。ただしこの数字は公式の土台（ハーネス）の設定で測ったもので、OpenAI が設定を2つ変えた検証では、公開されている問題セットのスコアが13.3%から38.3%に上がっています。
Q.スコアが3倍になった2つの設定とは？: A.ひとつは「考えた内容を残す」（retained reasoning）で、公式の土台（ハーネス）が1手動かすたびに捨てていたモデルの考えを、そのまま引き継ぐようにするものです。もうひとつは compaction で、履歴があふれたときに古い順で切り捨てるかわりに、要約してまとめ直します。
Q.設定を変えるとトークンの消費はどうなる？: A.減ります。OpenAI の検証では、公開されている問題セットのスコアが13.3%から38.3%へ約3倍になったうえに、出力トークンは6分の1になりました。考えた内容を残すことで、1手あたりに考える時間が短くなったと説明されています。
Q.人間はこのベンチマークで何点くらい取れる？: A.OpenAI 公式の記録から推定すると、人間のテスターの平均は48%とされています。スコアは RHAE という、人間と比べてどれだけ効率よく動けたかを見る指標です。設定変更後の38.3%は、この48%にかなり近づいた数字ということになります。
Q.自分で組んだAIエージェントでも同じことができる？: A.OpenAI は開発者に対して、古い Chat Completions API ではなく Responses API を使うこと、考えた内容を残すこと、compaction を使うことの3点を推奨しています。GPT-5.6 なら、直前の response ID を渡すだけで考えた内容が自動で引き継がれるとしています。