--- title: "トークナイザ とは？文章をトークンに分割するプログラム。 | AI用語集 - ai-garage" description: "トークナイザ（Tokenizer）を初心者向けにやさしく解説。文章をトークンに分割するプログラム。 トークナイザは、文章をAIが扱える最小単位「トークン」に分解し、数字のIDに変換するプログラム。" source: https://ai-garage.jp/glossary/tokenizer/ --- LLM # トークナイザとは？ 最終更新 2026年7月6日 別名: Tokenizer 文章をトークンに分割するプログラム。 ⚡ 30秒でわかる ## トークナイザ の主なポイント - 1 トークナイザは、文章をAIが扱える最小単位「トークン」に分解し、数字のIDに変換するプログラム。 - 2 代表的な方式はBPE（Byte Pair Encoding）で、よく現れる文字の並びをまとめて1トークンにする。 - 3 単語より細かい「サブワード」単位で区切るため、未知の単語や誤字にも対応できる。 - 4 日本語や中国語は英語よりトークンに細かく分かれやすく、同じ内容でもトークン消費が増える。 - 5 モデルごとにトークナイザは異なり、同じ文章でもトークン数（＝料金やコンテキスト消費）が変わる。 📖 詳しく ## トークナイザ とは トークナイザ（[Token](https://ai-garage.jp/glossary/token/)izer）は、入力された文章をAIモデルが処理できる小さな単位「トークン」に分解するプログラムです。AIは文字や単語をそのまま理解できないため、まずトークナイザが文章を区切り、各トークンを数字のID（語彙の通し番号）に変換します。これがあらゆるLLM処理の最初のステップになります。代表的な方式が「BPE（Byte Pair Encoding）」で、よく一緒に出てくる文字の並びを1つのトークンにまとめていく仕組みです。たとえば英語の「tokenization」は「token」と「ization」のように、単語より細かい「サブワード（部分語）」に分けられるため、見たことのない単語でも対応できます。一方で日本語や中国語は1文字が複数トークンに分かれやすく、同じ内容でも英語よりトークン数が増えがちで、これがAPI料金や[コンテキストウィンドウ](https://ai-garage.jp/glossary/context-window/)の消費に直結します。「トークン」が分割された結果の最小単位そのものを指すのに対し、「トークナイザ」はその分割作業を行う道具、という関係です。 ❓ FAQ ## よくある質問 Q. トークナイザとは何ですか？ A. 文章をAIモデルが処理できる単位「トークン」に分解し、それぞれを数字のIDに変換するプログラムです。AIは文字をそのまま理解できないため、トークナイザがすべての処理の入り口を担います。BPEという方式が広く使われています。 Q. トークンとトークナイザの違いは？ A. 「トークン」は文章を分割した結果の最小単位そのもの、「トークナイザ」はその分割を行う道具（プログラム）です。料理に例えると、トークンが「切られた食材」、トークナイザが「包丁」にあたります。 Q. なぜ日本語はトークン消費が多いのですか？ A. 多くのトークナイザは英語のデータを中心に作られており、日本語の1文字が複数のトークンに分かれやすいためです。結果として同じ意味の文章でも英語よりトークン数が増え、API料金やコンテキストウィンドウの消費が大きくなりがちです。 Q. 初心者は何に注意すればいいですか？ A. 「文字数＝トークン数ではない」点と、「使うモデルごとにトークン数が変わる」点を押さえておけば十分です。料金やコンテキスト上限はトークン単位で決まるので、長い文章を投げる前に各社が提供するトークン数の目安や計測ツールで確認すると安心です。 🔗 関連 ## あわせて読みたい 関連用語 [トークン](https://ai-garage.jp/glossary/token/)[トークン](https://ai-garage.jp/glossary/token/)[Embeddings（埋め込みベクトル）](https://ai-garage.jp/glossary/embeddings/)[コンテキストウィンドウ](https://ai-garage.jp/glossary/context-window/)[LLM（大規模言語モデル）](https://ai-garage.jp/glossary/llm/) 関連トピック [ロングコンテキスト戦争 Google が先に100万トークンを当たり前にし、Anthropic と OpenAI が追いついた。次の争点は「長さ」から「使いこなし」へ。](https://ai-garage.jp/topics/long-context-war/) 📰 この用語が登場する記事 ## 「トークナイザ」が出てくるニュース [![Claude Haiku 5.5 登場！料金10分の1でGPT-6 Lunaと同額、性能は上](https://ai-garage.jp/images/news-heroes/claude-haiku-5-5-launch-card.webp) 2026/10/9 Claude Haiku 5.5 登場！料金10分の1でGPT-6 Lunaと同額、性能は上](https://ai-garage.jp/news/claude-haiku-5-5-launch/)[![国産オープンLLM「LLM-jp-4 33B」公開！商用可・必要容量66GB・性能はどこまで](https://ai-garage.jp/images/news-heroes/llm-jp-4-33b-open-weights-card.webp) 2026/8/20 国産オープンLLM「LLM-jp-4 33B」公開！商用可・必要容量66GB・性能はどこまで](https://ai-garage.jp/news/llm-jp-4-33b-open-weights/)[![Claude Fable 5 は再開済み｜復活はいつ？今の料金と Opus 5 の違い](https://ai-garage.jp/images/news-heroes/fable-5-release-status-card.webp) 2026/8/1 Claude Fable 5 は再開済み｜復活はいつ？今の料金と Opus 5 の違い](https://ai-garage.jp/news/fable-5-release-status/)[![日本語でAI使うと『1.48倍』割高だった！@ITが5モデル徹底調査、Claude Opus 4.7もGPT-5.5も日本語ペナルティから逃れられないよ](https://ai-garage.jp/images/news-heroes/japanese-ai-tokens-15x-card.webp) 2026/5/13 日本語でAI使うと『1.48倍』割高だった！@ITが5モデル徹底調査、Claude Opus 4.7もGPT-5.5も日本語ペナルティから逃れられないよ](https://ai-garage.jp/news/japanese-ai-tokens-15x/) 📎 SOURCES ## 一次ソース - [→ Neural Machine Translation of Rare Words with Subword Units (Sennrich et al., 2016) — arXiv](https://arxiv.org/abs/1508.07909) - [→ openai/tiktoken — OpenAIのBPEトークナイザ（GitHub）](https://github.com/openai/tiktoken) LLM カテゴリの用語 [Chain-of-Thought（思考の連鎖）](https://ai-garage.jp/glossary/cot/)[Few-shot プロンプト](https://ai-garage.jp/glossary/few-shot/)[LLM（大規模言語モデル）](https://ai-garage.jp/glossary/llm/)[SFT（教師あり微調整）](https://ai-garage.jp/glossary/sft/)[Zero-shot](https://ai-garage.jp/glossary/zero-shot/)[コンテキストウィンドウ](https://ai-garage.jp/glossary/context-window/)[コンテキストエンジニアリング](https://ai-garage.jp/glossary/context-engineering/)[システムプロンプト](https://ai-garage.jp/glossary/system-prompt/)[トークン](https://ai-garage.jp/glossary/token/)[ハルシネーション](https://ai-garage.jp/glossary/hallucination/)[プロンプト](https://ai-garage.jp/glossary/prompt/)[ロングコンテキスト](https://ai-garage.jp/glossary/long-context/)[温度（Temperature）](https://ai-garage.jp/glossary/temperature/)[推論モデル](https://ai-garage.jp/glossary/reasoning-model/) [← 前の用語 システムプロンプト](https://ai-garage.jp/glossary/system-prompt/) [次の用語 → トークン](https://ai-garage.jp/glossary/token/) NEXT [FOR BEGINNERS AI初心者ガイド 用語が多くて混乱したら、まず全体像から。AI初心者が「何から始める？」を5分で。](https://ai-garage.jp/beginners/) [GLOSSARY AI用語集 一覧へ 96語をカテゴリ・検索で引ける。気になる用語をまとめてチェック。](https://ai-garage.jp/glossary/)