LLM
トークンとは？
別名: Token
AIが文字を扱う最小単位。料金もここで測る。
⚡ 30秒でわかる
トークン の主なポイント
- 1 LLMは文章をそのままでなく、「トークン」という小さなかたまりに分けて扱います。
- 2 日本語ではだいたい 1〜2文字で1トークンくらい。
- 3 API利用時の料金もこのトークン数で計算されます。
📖 詳しく
トークン とは
LLMは文章をそのままでなく、「トークン」という小さなかたまりに分けて扱います。
日本語ではだいたい 1〜2文字で1トークンくらい。API利用時の料金もこのトークン数で計算されます。
❓ FAQ
よくある質問
- Q. トークン とは何ですか？
- A. AIが文字を扱う最小単位。料金もここで測る。 LLMは文章をそのままでなく、「トークン」という小さなかたまりに分けて扱います。
- Q. トークン の主な特徴は？
- A. LLMは文章をそのままでなく、「トークン」という小さなかたまりに分けて扱います。 日本語ではだいたい 1〜2文字で1トークンくらい。 API利用時の料金もこのトークン数で計算されます。
- Q. トークン に関連する用語は？
- A. 「コンテキストウィンドウ」、「プロンプト」などが関連しています。
- Q. トークン の別名は？
- A. Token とも呼ばれます。