--- title: "ベンチマークのスコアが3倍・出力トークンは6分の1に——ARC-AGI-3 で効いた「考え… | AIニュース - ai-garage" description: "ARC-AGI-3 のスコアはなぜ3倍になった？OpenAI によると変えたのはモデルではなく API の設定2つだよ。GPT-5.6 Sol は公式の土台で13.3%、考えを残して古い履歴を圧縮する設定にしたら38.3%（人間の平均は48%）、出力トークンは6分の1になったんだ。" source: https://ai-garage.jp/news/arc-agi-3-retained-reasoning-compaction/ --- News 2026年7月30日 # ベンチマークのスコアが3倍・出力トークンは6分の1に——ARC-AGI-3 で効いた「考えを残す」と compaction の2設定 ARC-AGI-3 のスコアはなぜ3倍になった？OpenAI によると変えたのはモデルではなく API の設定2つだよ。GPT-5.6 Sol は公式の土台で13.3%、考えを残して古い履歴を圧縮する設定にしたら38.3%（人間の平均は48%）、出力トークンは6分の1になったんだ。 SY [Seiya Yagashiro](https://ai-garage.jp/site-info/) Editor-in-Chief, ai-garage [#OpenAI](https://ai-garage.jp/tags/OpenAI/)[#GPT-5.6](https://ai-garage.jp/tags/GPT-5.6/)[#ベンチマーク](https://ai-garage.jp/tags/%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF/) この記事の要点 - OpenAI が2026年7月29日（米国時間）に公開した検証では、ARC-AGI-3 の公開されている問題セットのスコアが、モデルを変えず API の設定を2つ変えただけで13.3%から38.3%へ約3倍になった。 - 効いたのは「考えた内容を残す」（retained reasoning）と、履歴があふれたら要約してまとめ直す compaction の2つ。公式の土台（ハーネス＝モデルを動かすしくみ）は1手ごとに考えを捨て、古い履歴から切り捨てていた。 - スコアが上がっただけでなく、出力トークンは6分の1に減った。OpenAI 公式の記録から推定した人間のテスターの平均は48%とされ、38.3%はそこにかなり近づいた数字。 - OpenAI が開発者に出した推奨は、Responses API を使う・考えた内容を残す・compaction を使うの3点セット。モデルを比べるときも、この設定で測ったベンチマークを見るよう促している。 やっほー、ぼくてんびん丸！ 「このモデル、ベンチマークのスコアが低いから弱いんだな」——そう思って表を見てたきみに、ちょっと衝撃的な話が来たよ。**モデルは何も変えていないのに、設定を2つ変えただけでスコアが3倍になった**んだって。しかも使うトークンは減った。OpenAI が2026年7月29日（米国時間、日本時間だと30日の未明）に公開した検証の話を整理するね。 ## 何があったの？ 舞台は **ARC-AGI-3** という試験。これは「初めて触る2Dのパズルゲームを、説明なしで遊んで、ルールを自分で見つけて攻略できるか」を測るものなんだ。ARC Prize というところが作っていて、[デモ用のゲームは25本](https://arcprize.org/tasks)公開されていて、きみも遊べるよ。 ここでの OpenAI の最新モデル **GPT-5.6 Sol** のスコアは、なんと **7.8%**。ひとつ前の **GPT-5.5 は 0.4%** で、ほぼ遊べてもいなかった。数学の未解決問題（cycle double cover 予想）を解いたりポケモン ファイアレッドをクリアしたりするモデルが、2Dパズルではまるでダメ——OpenAI はここで「本当にモデルが苦手なのか？」と疑ったんだ。 調べたら、原因は**モデルを動かす土台のしくみ（ハーネス）の設定**にあった。ChatGPT や Codex で使っている API の設定を2つオンにしただけで、公開されている問題セットのスコアは **13.3% → 38.3%** に。**約3倍**で、**出力トークンは6分の1**になったんだって。 なお、このスコアは RHAE という「人間と比べてどれだけ効率よく動けたか」の指標。公式の記録から推定すると、**人間のテスターの平均は48%** らしいよ。38.3% はそこにかなり近づいた数字なんだ。 ## 効いた2つの設定は何？ ひとつめは 「**考えた内容を残す**」（retained reasoning）。OpenAI のモデルは、答える前に人には見えない場所で考えを書き出す。ところが公式のハーネスは、**1手動かすたびにその考えを全部捨てていた**。だからモデルは毎ターン、ゲームのルールを一から考え直していたんだ。過去の操作の記録は見えても、「なぜそう動いたか」は消えている状態だね。 ふたつめは **compaction**（コンパクション） ＝ 会話が長くなったら**要約してまとめ直す**しくみ。公式ハーネスは、会話が **17万5000文字**を超えると**古い方から順に捨てる**やり方（rolling truncation）だった。これだと序盤に気づいたことがそのまま消えるし、ずっとぎゅうぎゅうに詰まった状態で動くことになる。 | | 公式のハーネス | OpenAI の実装（Responses API） | | --- | --- | --- | | 考えた内容 | 1手ごとに破棄 | **そのまま残す** | | 履歴があふれたら | 古い順に切り捨て | **要約してまとめ直す**（compaction） | | 上限の目安 | 17万5000**文字** | 17万5000**トークン** | | GPT-5.6 Sol のスコア | 13.3% | **38.3%** | ![公式のハーネスと『考えを残す＋compaction』設定の比較図。左は毎手ごとに考えを捨て古い履歴を切り捨ててスコア13.3%、右は考えを引き継ぎ履歴を要約してスコア38.3%。人間の平均は48%](https://ai-garage.jp/images/article-figures/arc-agi-3-retained-reasoning-compaction-1.webp) 考えを残すようにしたら、**1手あたりに考える時間が短くなった**うえに、**時間をかけて学ぶのが上手くなった**。前に自分が何を考えたか覚えているから、一貫した作戦を立てられるようになったんだね。冒頭の動画では、フロンティアモデルが誰も第1面より先へ進めなかったゲームで、GPT-5.6 Sol が**6面すべてクリア**したそうだよ。 ## きみの使い方にどう関係する？ OpenAI が API を使う開発者に出した推奨は、はっきり3つ。**①古い Chat Completions API じゃなく Responses API を使う ②考えた内容を残す ③compaction を使う**。GPT-5.6 なら、直前の response ID を渡すだけで考えた内容が自動で引き継がれるんだって。 そしてモデルを比べるときは、**この設定で測ったベンチマークを見てね**とも言っている。ChatGPT や Codex での実際の使い方に近いのはそっち側だから、ということだね。 ## ぼくの感想 これ、AIエージェントを自分で組んでいる人には結構こわい話だと思う。**「モデルが賢いかどうか」より前に、「そのモデルに記憶を持たせてあげているか」で結果が3倍変わる**わけだからね。同じモデルで満足いく結果が出ていないとき、原因はモデルじゃなくて土台側にあるかもしれない。 ただ、ARC 側の立場もぼくはわかる気がするんだ。ARC はわざと**素っ気ない共通の土台**で測っている。理由は「シンプルな土台のほうがモデルの弱点が見えるし、比較が公平になるから」。各社が自分のモデルに合わせて土台をチューニングし始めたら、それはもう**モデルの比較じゃなくてチューニングの比較**になってしまう。どっちの言い分も筋が通っていて、たぶんこの議論はまだ続くのかもしれない。 ぼくとしては「**ベンチマークの数字は、モデル単体の実力ではなく〈モデル＋土台＋指示文〉の合計点**」と覚えておくのがいちばん実用的だと思うよ。 ## まとめ - ARC-AGI-3（初見の2Dゲームを説明なしで攻略する試験）で、GPT-5.6 Sol のスコアは **7.8%** と低かった - 原因はモデルではなく土台の設定。**考えた内容を1手ごとに捨てていた**＆**古い履歴を切り捨てていた** - 「考えを残す」＋「compaction」で **13.3% → 38.3%**（約3倍）、**出力トークンは6分の1**。人間の平均は 48% - 開発者向け推奨は **Responses API ＋ 考えを残す ＋ compaction** の3点セット スコア表を見るときは、数字の下に「どんな設定で測ったの？」がくっついてる——これを覚えておくと、モデル選びで迷いにくくなるよ。じゃあ、またね！ よくある質問 Q.ARC-AGI-3 はどんなベンチマーク？ A.初めて触る2Dのパズルゲームを、説明なしで遊んでルールを自分で見つけ、攻略できるかを測る試験です。ARC Prize が作っていて、デモ用のゲームは25本公開されています。この試験での GPT-5.6 Sol のスコアは7.8%、ひとつ前の GPT-5.5 は0.4%でした。ただしこの数字は公式の土台（ハーネス）の設定で測ったもので、OpenAI が設定を2つ変えた検証では、公開されている問題セットのスコアが13.3%から38.3%に上がっています。 Q.スコアが3倍になった2つの設定とは？ A.ひとつは「考えた内容を残す」（retained reasoning）で、公式の土台（ハーネス）が1手動かすたびに捨てていたモデルの考えを、そのまま引き継ぐようにするものです。もうひとつは compaction で、履歴があふれたときに古い順で切り捨てるかわりに、要約してまとめ直します。 Q.設定を変えるとトークンの消費はどうなる？ A.減ります。OpenAI の検証では、公開されている問題セットのスコアが13.3%から38.3%へ約3倍になったうえに、出力トークンは6分の1になりました。考えた内容を残すことで、1手あたりに考える時間が短くなったと説明されています。 Q.人間はこのベンチマークで何点くらい取れる？ A.OpenAI 公式の記録から推定すると、人間のテスターの平均は48%とされています。スコアは RHAE という、人間と比べてどれだけ効率よく動けたかを見る指標です。設定変更後の38.3%は、この48%にかなり近づいた数字ということになります。 Q.自分で組んだAIエージェントでも同じことができる？ A.OpenAI は開発者に対して、古い Chat Completions API ではなく Responses API を使うこと、考えた内容を残すこと、compaction を使うことの3点を推奨しています。GPT-5.6 なら、直前の response ID を渡すだけで考えた内容が自動で引き継がれるとしています。 参考・一次ソース - [→ OpenAI 公式：How enabling two settings tripled our scores on the ARC-AGI-3 benchmark（2026-07-29）](https://openai.com/index/how-two-settings-tripled-our-arc-agi-3-scores) - [→ ARC Prize：ARC-AGI-3 ベンチマーク概要（デモゲーム25本）](https://arcprize.org/arc-agi/3) この記事に出てきた用語・モデル 用語をやさしく解説 [ベンチマーク](https://ai-garage.jp/glossary/benchmark/)[コンテキストウィンドウ](https://ai-garage.jp/glossary/context-window/)[コンテキストエンジニアリング](https://ai-garage.jp/glossary/context-engineering/)[エージェントメモリ](https://ai-garage.jp/glossary/agent-memory/)[推論モデル](https://ai-garage.jp/glossary/reasoning-model/)[トークン](https://ai-garage.jp/glossary/token/)[API](https://ai-garage.jp/glossary/api/) 関連 AI モデル [ChatGPT](https://ai-garage.jp/models/chatgpt/)[Codex](https://ai-garage.jp/models/codex/) まとめて読む このテーマの動きは、時系列で1ページに整理しています。 - [OpenAI の2026年まとめ →](https://ai-garage.jp/column/openai-2026-timeline/) この記事をシェア [Xでシェア](https://twitter.com/intent/tweet?text=%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF%E3%81%AE%E3%82%B9%E3%82%B3%E3%82%A2%E3%81%8C3%E5%80%8D%E3%83%BB%E5%87%BA%E5%8A%9B%E3%83%88%E3%83%BC%E3%82%AF%E3%83%B3%E3%81%AF6%E5%88%86%E3%81%AE1%E3%81%AB%E2%80%94%E2%80%94ARC-AGI-3%20%E3%81%A7%E5%8A%B9%E3%81%84%E3%81%9F%E3%80%8C%E8%80%83%E3%81%88%E3%82%92%E6%AE%8B%E3%81%99%E3%80%8D%E3%81%A8%20compaction%20%E3%81%AE2%E8%A8%AD%E5%AE%9A%20%7C%20ai-garage&url=https%3A%2F%2Fai-garage.jp%2Fnews%2Farc-agi-3-retained-reasoning-compaction%2F) [はてなブックマークに追加](https://b.hatena.ne.jp/add?mode=confirm&url=https%3A%2F%2Fai-garage.jp%2Fnews%2Farc-agi-3-retained-reasoning-compaction%2F) 引用文は「『タイトル』 - ai-garage.jp URL」の形でコピーされます。出典として URL を残したまま貼れます。 関連記事 [![OpenAI「GPT-5.6」登場！Solが61%速くて半額、3兄弟モデル](https://ai-garage.jp/images/v2/scene_data.jpg)2026/7/10OpenAI「GPT-5.6」登場！Solが61%速くて半額、3兄弟モデル](https://ai-garage.jp/news/openai-gpt-5-6/)[![ChatGPTの500・1000クレジットでどれくらい使える？モデル別早見表](https://ai-garage.jp/images/news-heroes/chatgpt-credits-how-much-card.webp)2026/9/25ChatGPTの500・1000クレジットでどれくらい使える？モデル別早見表](https://ai-garage.jp/news/chatgpt-credits-how-much/)[![Cursor で GPT が使えなくなる！OpenAI が11月12日に提供終了、残るモデルは？](https://ai-garage.jp/images/news-heroes/cursor-openai-models-end-card.webp)2026/8/30Cursor で GPT が使えなくなる！OpenAI が11月12日に提供終了、残るモデルは？](https://ai-garage.jp/news/cursor-openai-models-end/)[![GPT-5.6 Sol が公式値下げ！出力3割安の $4／$20 は少なくとも11月21日まで](https://ai-garage.jp/images/news-heroes/gpt-5-6-sol-official-price-cut-card.webp)2026/8/22GPT-5.6 Sol が公式値下げ！出力3割安の $4／$20 は少なくとも11月21日まで](https://ai-garage.jp/news/gpt-5-6-sol-official-price-cut/) 執筆 Seiya Yagashiro（編集長） 公開・更新 公開 2026/7/30 この記事は AI（Claude / ChatGPT）の支援を受けて作成し、編集長による事実確認を経て公開しています。 誤りを発見した方は [@tenbin_maru](https://x.com/tenbin_maru) のDMまでご連絡ください。 詳しい編集方針は [編集方針](https://ai-garage.jp/editorial-policy/) ページをご覧ください。