技術
Attention（注意機構）とは？
別名: Self-Attention / 自己注意
文章のどこに注目すべきかを学ぶしくみ。
⚡ 30秒でわかる
Attention（注意機構） の主なポイント
- 1 Attention は文中の単語どうしの関係を「どこに注目するか」の重み付けで計算するしくみ
- 2 離れた単語の関係を一度にとらえられ、全単語を並列計算できるため大規模化に向く
- 3 2017年の論文「Attention Is All You Need」で提案された Transformer の中核部品
- 4 ChatGPT・Claude など現代の大規模言語モデル（LLM）はほぼ全てこの上に作られている
- 5 Attention は「計算の部品」、それを組み込んだ構造全体が Transformer という関係
📖 詳しく
Attention（注意機構） とは
Attention（注意機構）とは、文章を処理するときに「どの単語が、どの単語と強く関係しているか」をAIが自分で見つけ出すしくみのことです。たとえば「猫がボールを追いかけた。それは転がっていた」という文で、「それ」が指すのは「猫」ではなく「ボール」だと判断する――こうした単語どうしのつながりに、文中のどこを“どれくらい重視するか”という重み付けをして計算します。これが重要なのは、離れた場所にある単語の関係も一度にとらえられるうえ、全単語の関係を並列で計算できるため学習が速く、大規模化しやすいからです。この性質が、ChatGPT や Claude をはじめとする現代の大規模言語モデル（LLM）の土台になりました。身近な例えでいうと、長文を読むときに人間が大事なキーワードに無意識でマーカーを引く動作に近く、AIはその「どこに線を引くか」自体をデータから学習します。2017年に Google の研究チームが発表した論文「Attention Is All You Need」でこのしくみを中心に据えた Transformer が提案され、タイトルがそのまま業界の合言葉になりました。なお Attention は「計算のしくみ（部品）」であり、それを組み込んだネットワーク構造全体を Transformer と呼ぶ、という関係を押さえておくと混乱しません。
❓ FAQ
よくある質問
- Q. Attention とは？
- A. Attention（注意機構）とは、AIが文章を処理するとき「どの単語が、どの単語と関係しているか」を自分で見つけ、重要な箇所に重み付けして計算するしくみです。離れた単語の関係も一度にとらえられるのが特長で、現代の大規模言語モデルの中核技術になっています。
- Q. Attention と Transformer の違いは？
- A. Attention は「単語どうしの関係を計算する部品（しくみ）」で、Transformer は「その Attention を中心に組み立てたネットワーク構造の全体」です。料理に例えるなら Attention が主役の調理法、Transformer がそれを使った一皿の完成形、というイメージで区別すると分かりやすいです。
- Q. Self-Attention（自己注意）とは何が違うの？
- A. Self-Attention は Attention の代表的な使い方で、1つの文章の“中だけ”で各単語が他の単語とどう関係するかを計算する方式です。現代の LLM で使われる Attention はほぼこの Self-Attention を指すと考えてよく、両者を厳密に区別せずに使われることも多いです。
- Q. 初心者が知っておくべき注意点は？
- A. 仕組みを丸ごと理解する必要はなく、まずは「AIが文章のどこに注目すべきかを学ぶ技術」と押さえれば十分です。ただし全単語どうしの関係を計算する都合上、文章が長くなるほど計算量が急に増える弱点があり、これが長文処理（ロングコンテキスト）を巡る技術開発の背景になっている点だけ知っておくと理解が深まります。
🔗 関連
あわせて読みたい
関連 AI モデル