Terminal-Benchとは？

Terminal-Bench（ターミナルベンチ）は、AIエージェントが「ターミナル（コマンドライン）でどれだけ自走して作業できるか」を測るベンチマークです。 ファイル操作・Git・パッケージ管理・サーバー設定・コードのビルド・機械学習モデルの学習といった、 実際のエンジニアが黒い画面で打ち込むような作業を、AIにそのまま任せて成功率を測ります。 なぜ重要かというと、近年のAIは「コードを書く」だけでなく 「環境を整え、コマンドを実行し、エラーを直し、最後までやり切る」自律エージェントへ進化しており、 その総合的な実務力を測る物差しが必要になったからです。 たとえるなら、料理のレシピを暗唱できるか（＝知識テスト）ではなく、 実際にキッチンに立って買い出しから片付けまで一人でこなせるか（＝実技テスト）を見るイメージです。 各課題はDockerで隔離された環境と自動採点スクリプトで構成され、 Stanford・Harbor・Laude Institute が共同で運営しています。 SWE-Bench が「単発のバグ修正」を測るのに対し、 Terminal-Bench は「ターミナル上の幅広い実務を一気通貫でこなせるか」を測る点が違います。 いま動いている最新版は Terminal-Bench 4.0 で、2026年8月28日に公開されました。 公式リーダーボードの上位は次のとおりです（2026年10月9日に公式サイトで確認。同じモデルが考える量の設定ごとに何行も載っているため、モデルごとにいちばん良い結果で数えた順位です）。 1位 Claude Opus 5.5（Claude Code）64.8%／2位 Claude Sonnet 5.5（Claude Code）61.8%／ 同率3位 GPT-6.1 Sol（Codex）と GPT-6 Astra（Codex）58.2%／5位 Claude Fable 5.1（Claude Code）57.9%／ 6位 Claude Opus 5 53.9%／7位 GPT-6 Sol 49.4%／8位 Claude Fable 5 44.5%／9位 GLM-5.3 41.8%／ 10位 Grok 4.7 37.6%／11位 GPT-5.6 Sol 37.3%。下のほうには Gemini 3.8 Flash 19.1%、GPT-6 Luna 16.4%、Claude Sonnet 5 12.4% などが並びます。 なお Claude Opus 5.5 については、Anthropic が発表時に自社でこの 4.0 を計測して 66.4%（xhigh 設定。max 設定では 64.8%）と公表していました。 公式リーダーボードに載っているのは max 設定の 64.8% なので、順位を見るときは公式リーダーボードの値どうしで比べてください。 Claude Sonnet 5.5 も Anthropic の自社計測（max 設定）では 70.6% と公表されていますが、公式リーダーボードの値は同じ max 設定で 61.8% です。 2026年10月7日公開の Claude Haiku 5.5 も Anthropic の自社計測で 39.2% と公表されていますが、10月9日時点では公式リーダーボードに載っていません。 ここで読み取ってほしいのは、公式リーダーボードでいちばん強いモデルでも3分の1強は解けずに残る、という点です。 「AIがもうエンジニアの仕事を全部できる」という話とは、まだ距離があります。 かかったお金とトークンの量も、公式が一緒に公開しています。ここが面白いところで、 同率3位の2つを比べると、GPT-6.1 Sol は 58.2% を約630ドル・15億トークンで取ったのに対し、 GPT-6 Astra は同じ 58.2% に 3.3千ドル・15億トークンを使っています。 点もトークン量も同じなのに、かかった費用はおよそ5倍の差です。 1位の Claude Opus 5.5 は 64.8% に 4.7千ドル・80億トークン、2位の Claude Sonnet 5.5 は 61.8% に 7.3千ドル・194億トークンでした。 1トークンあたりの単価は Opus 5.5 が Sonnet 5.5 の2倍なのに、使ったトークンが半分以下なので、総額は Opus 5.5 のほうが安く済んでいます。 さらに目立つのが Claude Sonnet 5 で、掲載モデル中いちばん高い 9.6千ドル・216億トークンを費やして 12.4% でした。 公式は、Sonnet 5 がトークンを大量に使って出力の上限に引っかかったり時間切れになったりした、と説明しています。 同じ「賢さ」でも、目的に対してどれだけ無駄なく動けるかは別の能力だ、ということが数字に出ています。 そして初心者がいちばん引っかかるのが、版が違うと数字がまるで別物になる点です。 同じ Claude Fable 5 が、Terminal-Bench 2.1 では 83.8%、3.0 では 33.8% でした。 Claude Opus 4.8 は 78.9% から 21.1%、Claude Sonnet 5 は 74.6% から 14.6% です。 モデルが弱くなったのではなく、テストが難しくなったからこうなります。 そして数字は下がる一方でもありません。同じ Claude Fable 5 は、 課題が整理された 4.0 では 44.5% と、3.0 の 33.8% から10ポイントほど戻しています。 採点のしかたや課題の入れ替えで上下するので、版をまたいだ数字の増減を 「モデルが良くなった／悪くなった」と読むことはできません。 ネットで見かける「Terminal-Bench で80%超え」という数字は、たいてい古い 2.1 までの話です。 比べるときは、必ず同じ版の数字どうしで比べてください。 版の歴史は、1.0（2025年5月19日）、2.0（2025年11月7日）、2.1（2026年5月6日）、 Challenges（2026年6月18日）、3.0（2026年7月30日）、Science 0.1（2026年8月27日）、 4.0（2026年8月28日）と続いています。 3.0 は7分野74課題で作り直され、当時の最高が約34%でした。 4.0 はそこから、答えが出回っていた課題や、最新世代のモデルが5回中5回とも解けてしまって 差がつかなくなった課題など8問を取り除き、19問に修正を入れたものです（残り66課題）。 あわせて、課題ごとにばらばらだった制限時間を一律8時間にそろえ、 計測のブレ（時間切れやエラーで点を落とす分）を減らしています。 なお 3.1 ではなく 4.0 という番号になっているのは、課題そのものを入れ替えたため、 過去のスコアをそのまま横に並べられなくなったからです。 Terminal-Bench は「一度作って終わり」ではなく継続的に手を入れ続けるベンチマークへ方針を変えており、 中身が入れ替わったときは番号の大きいほうを上げる、という決め方をしています。 今後は 4.1 で採点プログラムの改ざん耐性を上げ、5.0 で新しい課題を足す予定が公開されています。