ai-garage
技術

LoRAとは?

別名: Low-Rank Adaptation

巨大モデルに「アドオン」を貼って軽く微調整する手法。

⚡ 30秒でわかる

LoRA の主なポイント

  • 1 LoRA は、モデル本体を凍結し小さなアダプタだけを追加学習させる、低コストなファインチューニング手法
  • 2 学習するパラメータをごく一部に絞るため、必要なGPUメモリと計算コストを大幅に削減できる
  • 3 完成したアダプタは数MB〜数百MBと軽く、用途ごとに差し替え・配布・共有がしやすい
  • 4 画像生成の絵柄・キャラ学習や、大規模言語モデルの業務カスタマイズで広く使われている
  • 5 ファインチューニングの一種であり、本体を作り変えずに少ない資源で実現する代表的な方法

📖 詳しく

LoRA とは

LoRA(Low-Rank Adaptation)とは、巨大なAIモデルの本体(パラメータ)はそのまま凍結し、小さな差分(アダプタ)だけを追加で学習させて、特定の用途向けにカスタマイズするファインチューニングの手法です。 通常のファインチューニングは数十億〜数千億あるパラメータ全部を更新するため、高価なGPUと長い時間が必要ですが、LoRA は学習するパラメータをごく一部に絞るため、必要なメモリと計算コストを大幅に削減できます。 イメージとしては、分厚い教科書(本体)に直接書き込む代わりに、薄い付箋(アダプタ)にだけメモを書いて貼り付けるようなものです。本体は無傷なので、付箋を貼り替えれば「キャラAを描くLoRA」「キャラBを描くLoRA」と用途ごとに差し替えられます。 この手軽さから、Stable Diffusion など画像生成での絵柄・キャラクター学習や、大規模言語モデルを自社業務向けに調整する用途で広く使われています。 似た言葉のファインチューニングは「追加学習で自社向けに合わせる」という大きな枠で、LoRA はその中の「本体を変えずに軽く実現する代表的なやり方」という関係です。学習後のアダプタは数MB〜数百MBと小さく、配布・共有しやすいのも特徴です。

❓ FAQ

よくある質問

Q. LoRA とは何ですか?
A. 巨大なAIモデルの本体はそのまま凍結し、小さな差分(アダプタ)だけを追加学習させて特定用途に合わせ込む、ファインチューニングの手法です。学習するパラメータを大幅に減らせるため、通常のファインチューニングよりはるかに少ないGPUメモリと時間で済みます。Stable Diffusion の絵柄・キャラ学習や、言語モデルの業務向けカスタマイズで広く使われています。
Q. LoRA と普通のファインチューニングは何が違うの?
A. 普通のファインチューニングはモデルの全パラメータを更新するため高価なGPUと長い時間が必要ですが、LoRA は追加した小さなアダプタだけを学習するため、必要な資源を大幅に減らせます。本体を凍結したまま付箋を貼るイメージなので、アダプタを差し替えれば複数の用途を使い分けられるのも違いです。LoRA はファインチューニングの一種で、それを軽量・低コストに実現する代表的なやり方だと考えるとわかりやすいです。
Q. 初心者は LoRA をどう使えばいい?
A. 画像生成なら、Stable Diffusion 系のツールで配布されている学習済み LoRA を読み込み、プロンプトに呼び出しキーワードを足すだけで、特定の絵柄やキャラを再現できます。自分で作る場合も、少量の画像と一般的なGPUがあれば学習できるため、まずは小さく試すのがおすすめです。最初から自作にこだわらず、既存のアダプタを試して効果を体感してから本格化すると無駄がありません。
Q. LoRA を使うときの注意点は?
A. 学習データが少なすぎたり偏っていたりすると、狙った特徴がうまく出なかったり、出力がそればかりに引っぱられる「過学習」が起きやすくなります。また、他人が作ったキャラや作風を学習させたアダプタには著作権・肖像権の配慮が必要で、配布・商用利用の条件も確認すべきです。まずは少量データで効果を確かめ、強さ(適用の重み)を調整しながら使うのが安全です。

更新を受け取る