LLM
SFT（教師あり微調整）とは？
別名: Supervised Fine-Tuning / 教師ありファインチューニング / 指示チューニング
正解付きのデータで追加学習させる工程。
⚡ 30秒でわかる
SFT（教師あり微調整） の主なポイント
- 1 SFT は、質問と理想の回答のペアをお手本にモデルを追加学習させ、指示に従う振る舞いを身につけさせる工程
- 2 文章の続きを予測するだけのベースモデルを、指示に素直に答える対話モデルへ作り変える土台になる
- 3 LLM開発では「事前学習 → SFT → RLHF」の順で進めるのが定番で、ファインチューニングの最も基本的な形
- 4 決められた正解を真似させる点が、好みの順位を学ぶ RLHF との大きな違い
- 5 学習データの質と量が成果を左右し、LoRA を使えば低コストで実行できる
📖 詳しく
SFT（教師あり微調整） とは
SFT（Supervised Fine-Tuning／教師あり微調整）とは、「この入力には、こう答えてほしい」という質問と理想の回答のペアを大量に用意し、その正解例をお手本にしてモデルを追加学習させる工程です。大量のテキストを読んだだけの事前学習済みモデル（ベースモデル）は、文章の続きを予測するのは得意でも、人間の指示に素直に答える振る舞いは身についていません。SFT はこの「次の単語を当てるAI」を「指示にちゃんと従って答えるAI」へと作り変える、対話モデルづくりの土台になる工程です。イメージとしては、知識は豊富だけれど接客の作法を知らない新人に、優秀な先輩が書いた模範解答集を見せて「お客様にはこう答えるんだよ」と一つひとつお手本を覚えさせる研修に近いです。実際のLLM開発では、事前学習 → SFT → RLHF（人間の好みによる調整）という順番で進めるのが定番で、SFT はファインチューニングの最も基本的な形にあたります。似た RLHF との違いは学習の仕方にあります。SFT は決められた正解例をそっくり真似させるのに対し、RLHF は複数の答えに「どっちが良い」と順位をつけて好みを学ばせるため、お手本以上の振る舞いも引き出せます。多くの場合、まず SFT で土台を作り、その上に RLHF を重ねます。
❓ FAQ
よくある質問
- Q. SFT（教師あり微調整）とは何ですか？
- A. 質問と理想の回答のペアを大量に用意し、その正解例をお手本にしてAIモデルを追加学習させる工程です。文章の続きを予測するだけのベースモデルを、人間の指示に素直に答える対話モデルへと作り変える役割を持ち、ChatGPT のような対話AIを作る土台になります。ファインチューニングの最も基本的な形で、指示チューニングとも呼ばれます。
- Q. SFT と RLHF は何が違うの？
- A. SFT は「これが正解」と決められたお手本をそっくり真似させる学習で、RLHF は複数の答えに人間が「こっちが良い」と順位をつけ、その好みを学ばせる学習です。SFT は用意した正解の範囲内で振る舞いを覚えるのに対し、RLHF はお手本にない望ましい応答も引き出せます。実際の開発では、まず SFT で土台を作り、その上に RLHF を重ねるのが定番の流れです。
- Q. SFT とファインチューニングはどういう関係？
- A. ファインチューニングは「事前学習済みモデルに追加学習させて用途に合わせる」という大きな枠で、SFT はその中の最も基本的な手法という関係です。正解付きデータで学習させるやり方が SFT で、ここから先に人間の好みを学ばせる RLHF へ進むこともあります。なお LoRA を使えば、この SFT を少ないGPU資源で軽く実行できます。
- Q. 初心者が SFT を試すときの注意点は？
- A. 何より大切なのは、質のそろった正解データを十分に集めることで、お手本が偏っていたり少なすぎたりすると、かえって応答の質が落ちてしまいます。また、最新情報を覚えさせたい用途には向かず、その場合は外部データを検索して渡す RAG のほうが適しています。いきなり全パラメータを更新せず、まず LoRA など軽量な手法で小さく試し、効果を確かめてから本格化すると安全です。
🔗 関連
あわせて読みたい
関連用語
関連 AI モデル
📰 この用語が登場する記事
