max_tokens（出力の上限設定）とは？

max_tokens（出力の上限設定）とは、AIが1回の応答で出せるトークン数の上限のことです。トークンはAIが文章を数えるときの単位で、日本語ではだいたい1文字が1〜2トークンになります。APIでAIを呼び出すときに開発者が指定するパラメータとして有名ですが、チャット画面で使うサービスにも内部的に同じような上限があります。この上限に当たると、AIは文章の途中でも出力をやめてしまいます。「回答が文の途中でぷつっと切れた」「長い表の後半が出てこない」というときは、まずこれを疑うのが定石です。気をつけたいのは、コンテキストウィンドウ（AIが一度に扱える全体の記憶量）とは別物だという点です。コンテキストウィンドウは「入力も含めて全部でどれだけ覚えていられるか」の話で、max_tokens は「返事としてどれだけ出せるか」の話です。もうひとつの注意点として、じっくり考えてから答えるタイプのモデルでは、考えるのに使ったトークンが応答と同じ枠から引かれる仕組みのものがあります。この場合、難しい問題ほど考える段階で枠を使ってしまい、肝心の答えが短く切れる、ということが起きます。対処法は3つあります。①APIなら max_tokens の値を大きくする、②チャットなら「続きを書いて」と頼む（多くの場合、切れたところから続けてくれます）、③1回で全部出させようとせず、作業を分けて頼む、です。長い文書の生成やコード出力では、最初から分割を前提に頼むほうが安定します。