技術
ファインチューニングとは?
別名: Fine-tuning / 微調整
既存モデルに追加学習させて自社向けにする。
⚡ 30秒でわかる
ファインチューニング の主なポイント
- 1 ファインチューニングは、事前学習済みモデルに自社データで追加学習させ、特定用途や好みに合わせ込む技術
- 2 ゼロから作るより圧倒的に安く、口調・フォーマット・専門的な答え方をモデル本体に覚えさせられる
- 3 RAG(外部データを検索して渡す)やプロンプト(指示の工夫)と違い、モデルの中身そのものを書き換える
- 4 頻繁に変わる最新情報を覚えさせる用途には不向きで、その場合は RAG のほうが適している
- 5 SFT や RLHF は代表的な手法で、LoRA を使えば低コストで実行できる
❓ FAQ
よくある質問
- Q. ファインチューニングとは何ですか?
- A. 事前学習済みのAIモデルに、自分たちのデータで追加学習をさせて、特定の用途や好みに合わせ込む技術です。基礎を身につけた新人に自社のやり方をOJTで教えるイメージで、口調や回答フォーマット、専門分野の答え方をモデル本体に覚えさせられます。ゼロから作るより低コストで、決まった形式の出力を安定して得たいときに有効です。
- Q. ファインチューニングと RAG は何が違うの?
- A. RAG は社内文書などの外部データを検索して、その場でAIに渡して答えさせる仕組みで、モデル自体は書き換えません。一方ファインチューニングはモデルの中身(パラメータ)そのものを追加学習で作り変えます。おおまかには、口調や形式・振る舞いを固定したいならファインチューニング、最新情報や頻繁に変わる事実を扱いたいなら RAG が向いています。
- Q. ファインチューニングとプロンプトの工夫はどちらを先に試すべき?
- A. まずはプロンプトの工夫や few-shot(お手本を例示する方法)から試すのがおすすめです。指示だけで十分な品質が出れば、コストも手間もかからず即試せるからです。それでも口調やフォーマットが安定しない、同じ指示を毎回書くのが非効率、という段階になって初めてファインチューニングを検討すると無駄がありません。
- Q. 初心者がファインチューニングで注意することは?
- A. 質のそろった学習データを十分に用意することが何より重要で、データが偏っていたり少なすぎたりすると、かえって性能が落ちることがあります。また、頻繁に更新される最新情報を覚えさせる用途には向かず、その場合は RAG を使うのが定石です。まずは LoRA など軽量な手法で小さく試し、効果を確かめてから本格化すると安全です。
📰 この用語が登場する記事