ベンチマーク
ロングコンテキスト評価とは？
別名: Needle in a Haystack / MRCR
長文の中の情報を正しく拾えるかのテスト。
⚡ 30秒でわかる
ロングコンテキスト評価 の主なポイント
- 1 ロングコンテキスト評価は、長い文章の中に隠した情報をAIが正しく取り出せるかを測るテストの総称。
- 2 代表例が「干し草の山から針を探す（Needle in a Haystack / NIAH）」テストで、大量の文章に1行を隠して言い当てさせる。
- 3 公称の対応トークン数（箱の大きさ）と、実際に使える実力は別物であり、その差を見抜くために使われる。
- 4 文章の冒頭・末尾は得意でも中盤を見落とす「ロスト・イン・ザ・ミドル」という弱点を浮き彫りにする。
- 5 MRCRなど、似た情報を複数まぎれ込ませて区別させる、より難しい評価も登場している。
📖 詳しく
ロングコンテキスト評価 とは
ロングコンテキスト評価とは、AIが「長い文章の中に埋め込まれた特定の情報を、最後まで正しく拾えるか」を測るテストの総称です。代表例が「干し草の山から針を探す（Needle in a Haystack / NIAH）」テストで、たとえば100万トークンもの大量の文章の中に1行だけ無関係な事実をこっそり隠し、AIにそれを言い当てさせます。なぜ重要かというと、メーカーが公表する「対応トークン数」はあくまで“入る箱の大きさ”でしかなく、実際にその情報を取り出して使えるかは別問題だからです。実際、文章の冒頭や末尾は得意でも真ん中の情報を見落とす「ロスト・イン・ザ・ミドル（中盤の見落とし）」という現象が知られており、見かけのスペックと実力の差を見抜くためにこの評価が使われます。NIAHは1本の針を探す比較的やさしい課題ですが、似た情報を複数まぎれ込ませて区別させるMRCR（Googleなどが用いる、より難しい評価）のようなテストも登場しています。「長文を渡せば全部読んで覚えてくれる」という思い込みを検証するための、いわば長文版の実力テストだと考えるとわかりやすいです。
❓ FAQ
よくある質問
- Q. ロングコンテキスト評価とは何ですか？
- A. 長い文章の中に埋め込まれた特定の情報を、AIが最後まで正しく取り出せるかを測るテストの総称です。代表例が「干し草の山から針を探す（Needle in a Haystack）」テストで、大量の文章の中に隠した1行を言い当てさせます。対応トークン数の大きさではなく“本当に使えるか”を確かめるための指標です。
- Q. コンテキストウィンドウ（対応トークン数）と何が違うのですか？
- A. コンテキストウィンドウは「一度にどれだけの文章を入れられるか」という箱の大きさを示すスペックです。一方ロングコンテキスト評価は「その箱に入れた情報を実際に取り出して使えるか」という実力を測るものです。箱が大きくても中盤の情報を見落とすことがあるため、両者は分けて考える必要があります。
- Q. Needle in a Haystack と MRCR の違いは何ですか？
- A. Needle in a Haystack（NIAH）は、長文の中に隠した1つの情報を探させる比較的やさしいテストです。MRCRはGoogleなどが用いるより難しい評価で、似た情報を複数まぎれ込ませ、その中から正しいものを区別させます。針が1本か複数かで難易度が大きく変わると考えるとわかりやすいです。
- Q. 初心者がAIを使うとき、何に注意すればよいですか？
- A. 「長文を全部渡せば隅々まで読んで覚えてくれる」とは限らない、と意識するのが大切です。特に重要な指示や情報は、長い資料の真ん中に埋もれさせず冒頭や末尾に置くと拾われやすくなります。モデルを選ぶときも公称トークン数だけでなく、ロングコンテキスト評価の結果を参考にすると安心です。
🔗 関連
あわせて読みたい
関連 AI モデル