ベンチマーク
Chatbot Arenaとは？
別名: LMSys Arena / LMArena / Arena
人間のブラインドテストで決めるAIランキング。
⚡ 30秒でわかる
Chatbot Arena の主なポイント
- 1 2つのAIの回答を伏せたまま並べ、人間が「どっちが良いか」を投票して順位を決める人間評価型のランキング。
- 2 研究グループ LMSYS（UC Berkeley 発）が2023年に開発し、その後 LMArena として独立、2026年に「Arena」へ改称して arena.ai で運営されている（旧 lmarena.ai も転送）。
- 3 投票結果は Elo レーティングに基づくスコアとして点数化され、総合ランキングとコーディング・数学などの部門別ランキングが公開される。
- 4 ベンチマークの点数と実際の使い心地のズレを見抜けるため、各社が新モデル発表時に引用する注目指標。
- 5 誰でも自分の質問を入力して投票に参加でき、そのデータがランキングの土台になっている。
📖 詳しく
Chatbot Arena とは
Chatbot Arena（チャットボット・アリーナ）は、2つのAIに同じ質問を投げて、人間のユーザーが「どちらの答えが好きか」を投票し、その積み重ねでAIをランキングするしくみです。研究グループ LMSYS（UC Berkeley 発）が2023年に立ち上げ、その後 LMArena として独立、2026年1月に「Arena」へ改称し、現在は arena.ai で運営されています（古いリンク lmarena.ai もここへ転送されます）。
どうして注目されるかというと、テスト用の問題集（ベンチマーク）で高得点でも、実際に使うと答えが回りくどかったり的外れだったりするモデルがあるからです。Arena は「人間が触ってどう感じたか」を直接すくい取るので、体感に近い指標として各社が気にします。
たとえるなら、料理コンテストで審査員が2皿を食べ比べて「こっちが美味しい」と票を入れる対決を、何百万回も繰り返して順位を出すイメージです。どちらのAIが回答したかは投票時に伏せられている（ブラインド）ので、ブランド名に引っ張られない公平な評価になります。
集まった票は Elo レーティング（チェスのレーティングと同じ考え方）に基づくスコアとして点数化され、総合だけでなくコーディングや数学など部門別の順位も公開されます。ベンチマークが「正解との一致」を測るのに対し、Arena は「人間の好み」を測る、という違いを押さえておくと使い分けやすくなります。
❓ FAQ
よくある質問
- Q. Chatbot Arena とは？
- A. 2つのAIに同じ質問をして、人間のユーザーが「どちらの回答が良いか」を投票し、その積み重ねでAIを順位づけするランキングサイトです。研究グループ LMSYS が2023年に立ち上げ、その後 LMArena として独立、2026年に「Arena」へ改称し、現在は arena.ai で運営されています。テストの点数ではなく「人間の体感」に近い指標として、各社が新モデルの実力を示すときに引用します。
- Q. ベンチマークとの違いは？
- A. ベンチマークは決まった問題集に対する「正解との一致率」を機械的に測ります。一方 Chatbot Arena は、人間が2つの回答を読み比べて「どちらが好みか」を投票する人間評価型です。ベンチで高得点でも実際は使いにくいモデルを見抜ける点が、Arena ならではの強みです。
- Q. LMArena・Arena と同じもの？呼び方が違うのはなぜ？
- A. すべて同じプラットフォームです。2023年に LMSYS が「Chatbot Arena」として始め、2024年に LMArena（lmarena.ai）として独立、2026年1月に「Arena」へ改称して arena.ai に移りました。チーム・リーダーボードは一貫して同じで、古い記事では Chatbot Arena や LMArena と表記されることが多い、と覚えておけば混乱しません。
- Q. 初心者はどう使えばいい？注意点は？
- A. まずは arena.ai（旧 lmarena.ai）の総合ランキング上位を「人気で外れの少ないモデル」の目安にするのがおすすめです。ただし Arena は「人間の好み」を測る指標なので、コーディングや日本語など特定用途の強さは部門別ランキングや個別ベンチで補って確認しましょう。順位は新モデルが出るたびに入れ替わるため、最新の表を見る習慣をつけると安心です。
🔗 関連
あわせて読みたい
関連 AI モデル
📰 この用語が登場する記事
