トークンとは何ですか？

AIが文章を処理するときの最小の単位です。AIは文章をそのまま読むのではなく、「トークン」という小さなかたまりに分けてから扱います。英語なら単語1つ、日本語なら1〜2文字ぶんがおよそ1トークンの目安です。

トークンと単語・文字は何が違うのですか？

単語や文字は人間が文章を区切る単位ですが、トークンはAIが効率よく処理するための単位で、必ずしも単語や文字とは一致しません。長い単語は複数トークンに分かれたり、よく使う単語は1トークンにまとまったりします。日本語は1〜2文字で1トークンになることが多いです。

トークンと料金はどう関係しますか？

ほとんどのAI APIは、入力した文章と出力された文章のトークン数を合計して課金します。「100万トークンあたり何ドル」という形が一般的で、長い文章を読ませたり長い回答を出させたりするほどトークンが増え、料金も上がります。

初心者はトークンの何に注意すればいいですか？

まず「長い文章ほどトークンを多く使い、料金も時間もかかる」と覚えておけば十分です。無駄に長いプロンプトを避け、必要な情報だけ渡すとコストを抑えられます。実際のトークン数はOpenAIのTokenizerなどのツールで確認できます。

LLM

トークンとは？

最終更新 2026年7月6日

別名: Token

AIが文字を扱う最小単位。料金もここで測る。

⚡ 30秒でわかる

トークンの主なポイント

1 トークンとは、AIが文章を処理するときに使う最小の単位（小さなかたまり）のこと。
2 目安として英語は単語1つ、日本語は1〜2文字でおよそ1トークンになる。
3 AIが一度に読める量（コンテキストウィンドウ）も、APIの料金も、すべてトークン数で計算される。
4 日本語は英語よりトークンに細かく分かれやすく、同じ内容でもトークン消費が増えがち。
5 文章をトークンに切り分けるプログラムは「トークナイザ」と呼ばれ、トークンとは別物。

📖 詳しく

トークンとは

トークンとは、AI（大規模言語モデル）が文章を処理するときの「最小の単位」です。私たちは文章を単語や文字で読みますが、AIは文章を「トークン」という小さなかたまりに分解してから読み書きします。1トークンは英語ならおよそ単語1つ、日本語ならだいたい1〜2文字ぶんが目安です。これが重要なのは、AIが一度に扱える長さ（コンテキストウィンドウ）も、APIを使うときの料金も、すべてこのトークン数で測られるからです。たとえば「ありがとう」という短い言葉でも数トークンを消費し、長い資料を読ませればその分トークンも料金も増えていきます。よく似た言葉に「トークナイザ」がありますが、こちらは文章をトークンに切り分けるプログラムそのものを指し、「トークン」は切り分けられた一つひとつのかたまりを指します。

❓ FAQ

よくある質問

Q. トークンとは何ですか？: A. AIが文章を処理するときの最小の単位です。AIは文章をそのまま読むのではなく、「トークン」という小さなかたまりに分けてから扱います。英語なら単語1つ、日本語なら1〜2文字ぶんがおよそ1トークンの目安です。
Q. トークンと単語・文字は何が違うのですか？: A. 単語や文字は人間が文章を区切る単位ですが、トークンはAIが効率よく処理するための単位で、必ずしも単語や文字とは一致しません。長い単語は複数トークンに分かれたり、よく使う単語は1トークンにまとまったりします。日本語は1〜2文字で1トークンになることが多いです。
Q. トークンと料金はどう関係しますか？: A. ほとんどのAI APIは、入力した文章と出力された文章のトークン数を合計して課金します。「100万トークンあたり何ドル」という形が一般的で、長い文章を読ませたり長い回答を出させたりするほどトークンが増え、料金も上がります。
Q. 初心者はトークンの何に注意すればいいですか？: A. まず「長い文章ほどトークンを多く使い、料金も時間もかかる」と覚えておけば十分です。無駄に長いプロンプトを避け、必要な情報だけ渡すとコストを抑えられます。実際のトークン数はOpenAIのTokenizerなどのツールで確認できます。

🔗 関連

あわせて読みたい

「トークン」が出てくるニュース

2026/10/12

Codex の料金はいくら？無料で使える範囲と Plus・Pro・API キーの違い

2026/10/9

Claude Haiku 5.5 登場！料金10分の1でGPT-6 Lunaと同額、性能は上

2026/10/8

NotebookLM でエラー・読み込めないときは？原因と形式別の直し方

2026/10/6

ChatGPTの文章に透かし、日本は対象外｜EUだけで開始、25%書き換えで検出17%

2026/10/2

ChatGPT のファイルアップロード上限は？無料は1日3個、有料は3時間80個まで

2026/10/1

Gemini 4 Argon 発表！19項目中14項目で首位、料金は入力$2から。一般公開はまだ

📎 SOURCES

一次ソース

LLM カテゴリの用語

Chain-of-Thought（思考の連鎖） Few-shot プロンプト LLM（大規模言語モデル） SFT（教師あり微調整） Zero-shot コンテキストウィンドウコンテキストエンジニアリングシステムプロンプトトークナイザハルシネーションプロンプトロングコンテキスト温度（Temperature）推論モデル

← 前の用語

トークナイザ

次の用語 →

ハルシネーション

FOR BEGINNERS

AI初心者ガイド

用語が多くて混乱したら、まず全体像から。AI初心者が「何から始める？」を5分で。

GLOSSARY

AI用語集一覧へ

96語をカテゴリ・検索で引ける。気になる用語をまとめてチェック。