--- title: "AIの賢さは誰が測ってる？Ai2が『olmo-eval』を公開したよ | AIニュース - ai-garage" description: "AIの賢さは誰がどう測ってる？Allen Institute for AI が公開したオープンソースの評価ツール「olmo-eval」は、開発の途中で何度もテストするための作業台だよ。ツールを使うエージェントや多ターン対話まで評価でき、GitHubで入手できるんだ。" source: https://ai-garage.jp/news/allenai-olmo-eval-llm-evaluation-workbench/ --- News 2026年6月13日 # AIの賢さは誰が測ってる？Ai2が『olmo-eval』を公開したよ AIの賢さは誰がどう測ってる？Allen Institute for AI が公開したオープンソースの評価ツール「olmo-eval」は、開発の途中で何度もテストするための作業台だよ。ツールを使うエージェントや多ターン対話まで評価でき、GitHubで入手できるんだ。 SY [Seiya Yagashiro](https://ai-garage.jp/site-info/) Editor-in-Chief, ai-garage [#AI評価](https://ai-garage.jp/tags/AI%E8%A9%95%E4%BE%A1/)[#ベンチマーク](https://ai-garage.jp/tags/%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF/)[#オープンソース](https://ai-garage.jp/tags/%E3%82%AA%E3%83%BC%E3%83%97%E3%83%B3%E3%82%BD%E3%83%BC%E3%82%B9/) やっほー、ぼくてんびん丸！ きみは「このAI、賢いね！」とか「あっちのモデルのほうが頭いいらしいよ」なんて聞いたとき、**その“賢さ”って誰がどうやって測ってるんだろう**？って思ったこと、ない？ ぼくはずっと気になってたんだ。今日はそんな「AIの成績表」をつくる**裏方の道具**の話だよ。ちょっと地味だけど、AIを信じていいか考えるうえで、すごく大事な話なんだ。 ## 何があったの？ アメリカのAI研究機関 **Allen Institute for AI**（通称Ai2／アイツー） が、**2026年6月12日**、大規模言語モデル（LLM）を評価するためのオープンソースの道具 「**olmo-eval**」 を公開したよ。 Ai2は、中身を全部オープンにしたAIモデル「**OLMo**」を作っていることで有名な研究所なんだ。今回の `olmo-eval` は、その評価の取り組み「**OLMES**（Open Language Model Evaluation Standard）」を発展させたもので、入手先は **GitHub**（github.com/allenai/olmo-eval） だよ。 ポイントは、これが「**完成したAIに点数をつける」だけの道具じゃない**ってこと。AIを**作っている真っ最中**に、何度もくり返しテストするための「作業台（workbench）」として設計されているんだ。 ## どこがすごいの？ これまでの評価ツールって、だいたい次の2つのどっちかに寄っていたんだって。 | よくある評価ツール | olmo-eval が狙うところ | | --- | --- | | **完成したモデル**に最終テストをする | **開発の途中**（チェックポイント）で何度も測る | | 決まった問題に答えさせるだけ | **道具を使うAI**や**何往復もする対話**も評価 | | 合計点（平均スコア）だけ見る | **1問ずつ**結果を見比べられる | `olmo-eval` のおもしろい工夫を、ぼくなりに3つあげるね。 1. **テストの中身と動かし方を切り離した** — 「どんな問題を解かせるか」と「どう実行するか」を分けて設計してあるから、部品（モデル・道具・環境）を差し替えやすいんだ。 2. **“道具を使うAI”を評価できる** — コードを実行したり、Webを見て調べたりする**エージェント**の力を、安全な砂場（サンドボックス）の中で試せる仕組みがあるよ。 3. **問題1問ずつ見比べられる** — 2つのモデルを並べて「この問題はAがよくて、こっちはBが正解」みたいに**細かく比較**できる。平均点だけだと見えない弱点が見えるんだ。 ![AIの評価が「最終テストだけ」から「開発の途中で何度も測る作業台」へ変わることを示した図解](https://ai-garage.jp/images/article-figures/allenai-olmo-eval-llm-evaluation-workbench-1.webp) ## なぜ重要なの？ ぼくたちはふだん、AIの「賢さ」を**ベンチマーク（共通テスト）のスコア**で語りがちだよね。「○○ベンチで90点！」みたいに。でも、その点数が**どう測られたか**があいまいだと、点数そのものが信じられなくなっちゃう。 だから、こういう**評価のやり方をオープンにする道具**が出てくるのは、すごく健全なことだと思うんだ。みんなが同じ条件で測れれば、「うちのAIはすごい！」という宣伝を**第三者がちゃんと検証**できるからね。 しかも最近のAIは、ただ質問に答えるだけじゃなくて、**道具を使って自分で動く「エージェント**」に進化してる。そうなると「正解か不正解か」だけじゃ測りきれない。`olmo-eval` が**エージェントや長い対話を最初から評価対象にしている**のは、いまのAIの実態に合わせた設計だと思うよ。 ## ぼくの感想 ぼくね、この手の「裏方の道具」のニュースって、実はいちばん大事な気がするんだ。 派手な新モデルの発表は「すごい！」で盛り上がるけど、その「すごい」を**ちゃんと疑って確かめる仕組み**がないと、AIってどんどん“言ったもん勝ち”になっちゃう。`olmo-eval` がオープンソースで、開発の途中から測れるっていうのは、「**成績表をみんなで監視できるようにしよう**」っていうメッセージに見えるんだ。 ただ、今回の発表では**対応しているテストの数やライセンスの種類**まではハッキリ書かれていなかったから、実際にどこまで使いやすいかは、これから触ってみないとわからない部分もあるかもしれないね。 ## まとめ 今日のニュースをまとめるよ。 - **Ai2** が2026年6月12日、AI評価ツール **`olmo-eval`** をオープンソースで公開 - 完成品だけじゃなく**開発の途中**で何度も測る「作業台」 - **道具を使うAI**（エージェント）や長い対話も評価でき、**1問ずつ**比較できる AIの「賢さ」は、誰かが宣伝する数字じゃなくて、**みんなで確かめられる数字**であってほしい——ぼくはそう思うんだ。次にAIのスコアを見たときは、「それ、どうやって測ったの？」ってちょっとだけ気にしてみてね。じゃあまたね、てんびん丸でした！ 参考・一次ソース - [→ 一次ソース](https://huggingface.co/blog/allenai/olmo-eval) この記事に出てきた用語・モデル 用語をやさしく解説 [モデル](https://ai-garage.jp/glossary/model/)[AIエージェント](https://ai-garage.jp/glossary/agent/)[LLM（大規模言語モデル）](https://ai-garage.jp/glossary/llm/)[ベンチマーク](https://ai-garage.jp/glossary/benchmark/) この記事をシェア [Xでシェア](https://twitter.com/intent/tweet?text=AI%E3%81%AE%E8%B3%A2%E3%81%95%E3%81%AF%E8%AA%B0%E3%81%8C%E6%B8%AC%E3%81%A3%E3%81%A6%E3%82%8B%EF%BC%9FAi2%E3%81%8C%E3%80%8Eolmo-eval%E3%80%8F%E3%82%92%E5%85%AC%E9%96%8B%E3%81%97%E3%81%9F%E3%82%88%20%7C%20ai-garage&url=https%3A%2F%2Fai-garage.jp%2Fnews%2Fallenai-olmo-eval-llm-evaluation-workbench%2F) [はてなブックマークに追加](https://b.hatena.ne.jp/add?mode=confirm&url=https%3A%2F%2Fai-garage.jp%2Fnews%2Fallenai-olmo-eval-llm-evaluation-workbench%2F) 引用文は「『タイトル』 - ai-garage.jp URL」の形でコピーされます。出典として URL を残したまま貼れます。 関連記事 [![AIのベンチマークはもう限界？60本中29本が「飽和」、ICML 2026採択の研究で分かった性能比較の落とし穴だよ](https://ai-garage.jp/images/news-heroes/ai-benchmark-saturation-study-card.webp)2026/8/5AIのベンチマークはもう限界？60本中29本が「飽和」、ICML 2026採択の研究で分かった性能比較の落とし穴だよ](https://ai-garage.jp/news/ai-benchmark-saturation-study/)[![ベンチマークのスコアが3倍・出力トークンは6分の1に——ARC-AGI-3 で効いた「考えを残す」と compaction の2設定](https://ai-garage.jp/images/news-heroes/arc-agi-3-retained-reasoning-compaction-card.webp)2026/7/30ベンチマークのスコアが3倍・出力トークンは6分の1に——ARC-AGI-3 で効いた「考えを残す」と compaction の2設定](https://ai-garage.jp/news/arc-agi-3-retained-reasoning-compaction/)[![270億パラメータのAIがiPhoneで動く！『Bonsai 27B』の仕組み](https://ai-garage.jp/images/news-heroes/bonsai-27b-on-device-llm-smartphone-card.webp)2026/7/17270億パラメータのAIがiPhoneで動く！『Bonsai 27B』の仕組み](https://ai-garage.jp/news/bonsai-27b-on-device-llm-smartphone/)[![アニメ動画AIが無料で商用OK！国内発『AnimeGen』の実力](https://ai-garage.jp/images/news-heroes/animegen-aidealab-anime-video-ai-card.webp)2026/7/13アニメ動画AIが無料で商用OK！国内発『AnimeGen』の実力](https://ai-garage.jp/news/animegen-aidealab-anime-video-ai/) 執筆 Seiya Yagashiro（編集長） 公開・更新 公開 2026/6/13 この記事は AI（Claude / ChatGPT）の支援を受けて作成し、編集長による事実確認を経て公開しています。 誤りを発見した方は [@tenbin_maru](https://x.com/tenbin_maru) のDMまでご連絡ください。 詳しい編集方針は [編集方針](https://ai-garage.jp/editorial-policy/) ページをご覧ください。