ベンチマーク
Terminal-Benchとは？
スコアの読み方と、Claude Code・Codex などエージェントの位置づけを整理。AIが『ターミナル作業』をどこまで自走できるかを測るベンチ。
⚡ 30秒でわかる
Terminal-Bench の主なポイント
- 1 AIエージェントの『ターミナル作業を自走でやり切る力』を測るベンチマーク
- 2 ファイル操作・Git・サーバー設定・ビルド・ML学習など実務寄りの課題で構成される
- 3 各課題はDockerの隔離環境＋自動採点スクリプトで再現性が高い
- 4 Stanford と Laude Institute の共同プロジェクトで、Claude Code・Codex などエージェント評価の主戦場
- 5 2.0 では89課題に絞り込み、難度と検証品質を引き上げている
📖 詳しく
Terminal-Bench とは
Terminal-Bench（ターミナルベンチ）は、AIエージェントが「ターミナル（コマンドライン）でどれだけ自走して作業できるか」を測るベンチマークです。ファイル操作・Git・パッケージ管理・サーバー設定・コードのビルド・MLモデルの学習といった、実際のエンジニアが黒い画面で打ち込むような作業を、AIにそのまま任せて成功率を測ります。なぜ重要かというと、近年のAIは「コードを書く」だけでなく「環境を整え、コマンドを実行し、エラーを直し、最後までやり切る」自律エージェントへ進化しており、その総合的な実務力を測る物差しが必要になったからです。たとえるなら、料理のレシピを暗唱できるか（＝知識テスト）ではなく、実際にキッチンに立って買い出しから片付けまで一人でこなせるか（＝実技テスト）を見るイメージです。各課題はDockerで隔離された環境と自動採点スクリプトで構成され、Stanford と Laude Institute の共同プロジェクトとして公開されています。SWE-Bench が「単発のバグ修正」を測るのに対し、Terminal-Bench は「ターミナル上の幅広い実務を一気通貫でこなせるか」を測る点が違いです。
❓ FAQ
よくある質問
- Q. Terminal-Bench とは？
- A. AIエージェントがターミナル（コマンドライン）上で実務をどれだけ自力でこなせるかを測るベンチマークです。ファイル操作やGit、サーバー設定、コードのビルドといった課題を、隔離環境でAIに実行させて成功率を採点します。Stanford と Laude Institute が共同で公開しています。
- Q. SWE-Bench との違いは？
- A. SWE-Bench は『GitHub上の実バグを1件直せるか』というコーディング修正タスクに特化しています。一方 Terminal-Bench は、バグ修正に限らずサーバー構築・環境設定・ビルド・データ処理など、ターミナル上の幅広い作業を一連の流れでこなせるかを見る点が違いです。エージェントの総合的な『現場力』を測るイメージです。
- Q. なぜコーディングAIを選ぶときにこの指標を見るべき？
- A. 実際の開発では、AIは『コードを書く』だけでなく『コマンドを打ち、エラーを直し、最後まで完遂する』ことを求められます。Terminal-Bench はその自律性を反映するため、Claude Code や Codex のような自走型エージェントの実力比較に向いています。スコアが高いほど、人間が細かく指示しなくても任せられる傾向があります。
- Q. 初心者は何に注意すればいい？
- A. スコアは満点が当たり前ではなく、最新の強力なエージェントでも難しい課題では半分前後にとどまることがある点に注意してください。バージョン（1.0 / 2.0 など）や派生版（Terminal-Bench Hard 等）で難度や課題数が異なるため、数字を比べるときは同じバージョン同士か確認するのが安全です。
🔗 関連
あわせて読みたい
関連 AI モデル
📰 この用語が登場する記事
