LLM
トークナイザとは？
別名: Tokenizer
文章をトークンに分割するプログラム。
⚡ 30秒でわかる
トークナイザ の主なポイント
- 1 トークナイザは、文章をAIが扱える最小単位「トークン」に分解し、数字のIDに変換するプログラム。
- 2 代表的な方式はBPE（Byte Pair Encoding）で、よく現れる文字の並びをまとめて1トークンにする。
- 3 単語より細かい「サブワード」単位で区切るため、未知の単語や誤字にも対応できる。
- 4 日本語や中国語は英語よりトークンに細かく分かれやすく、同じ内容でもトークン消費が増える。
- 5 モデルごとにトークナイザは異なり、同じ文章でもトークン数（＝料金やコンテキスト消費）が変わる。
📖 詳しく
トークナイザ とは
トークナイザ（Tokenizer）は、入力された文章をAIモデルが処理できる小さな単位「トークン」に分解するプログラムです。AIは文字や単語をそのまま理解できないため、まずトークナイザが文章を区切り、各トークンを数字のID（語彙の通し番号）に変換します。これがあらゆるLLM処理の最初のステップになります。代表的な方式が「BPE（Byte Pair Encoding）」で、よく一緒に出てくる文字の並びを1つのトークンにまとめていく仕組みです。たとえば英語の「tokenization」は「token」と「ization」のように、単語より細かい「サブワード（部分語）」に分けられるため、見たことのない単語でも対応できます。一方で日本語や中国語は1文字が複数トークンに分かれやすく、同じ内容でも英語よりトークン数が増えがちで、これがAPI料金やコンテキストウィンドウの消費に直結します。「トークン」が分割された結果の最小単位そのものを指すのに対し、「トークナイザ」はその分割作業を行う道具、という関係です。
❓ FAQ
よくある質問
- Q. トークナイザとは何ですか？
- A. 文章をAIモデルが処理できる単位「トークン」に分解し、それぞれを数字のIDに変換するプログラムです。AIは文字をそのまま理解できないため、トークナイザがすべての処理の入り口を担います。BPEという方式が広く使われています。
- Q. トークンとトークナイザの違いは？
- A. 「トークン」は文章を分割した結果の最小単位そのもの、「トークナイザ」はその分割を行う道具（プログラム）です。料理に例えると、トークンが「切られた食材」、トークナイザが「包丁」にあたります。
- Q. なぜ日本語はトークン消費が多いのですか？
- A. 多くのトークナイザは英語のデータを中心に作られており、日本語の1文字が複数のトークンに分かれやすいためです。結果として同じ意味の文章でも英語よりトークン数が増え、API料金やコンテキストウィンドウの消費が大きくなりがちです。
- Q. 初心者は何に注意すればいいですか？
- A. 「文字数＝トークン数ではない」点と、「使うモデルごとにトークン数が変わる」点を押さえておけば十分です。料金やコンテキスト上限はトークン単位で決まるので、長い文章を投げる前に各社が提供するトークン数の目安や計測ツールで確認すると安心です。
🔗 関連
あわせて読みたい
📰 この用語が登場する記事
