エージェント
RLHFとは？
別名: 人間のフィードバックによる強化学習
人間の好みでAIを「行儀よく」させる学習方法。
⚡ 30秒でわかる
RLHF の主なポイント
- 1 RLHF（人間のフィードバックによる強化学習）は、AIの回答に人間が「どちらが良いか」と順位をつけ、その好みを報酬にしてAIを再学習させる手法。
- 2 「役立つ・礼儀正しい・安全」といった正解を一つに決めにくい良し悪しを、人間の感覚に寄せて覚えさせられるのが最大の利点。
- 3 ChatGPT が親切で礼儀正しく答えるようになった主因で、OpenAI が2022年の InstructGPT で大規模言語モデルへの実用化を示した。
- 4 学習は3段階（手本データで追加学習→人間のランク付けから報酬モデルを作成→その報酬を最大化する強化学習）で進む。
- 5 ファインチューニング全般のうち、人間の好みを報酬にして仕上げる特定の工程が RLHF にあたる。
📖 詳しく
RLHF とは
RLHF（人間のフィードバックによる強化学習、Reinforcement Learning from Human Feedback）とは、人間がAIの複数の回答に「こっちのほうが良い」と順位をつけ、その好みを学んだ“採点モデル”を使ってAI本体を再学習させる手法です。これが重要なのは、AIに「正解」を一つずつ教えるのが難しい“役立つ・礼儀正しい・安全”といった曖昧な良し悪しを、人間の感覚に寄せて覚えさせられるからです。ChatGPT が登場時に「賢いだけでなく、親切で礼儀正しく答える」と評価されたのは、ほぼこの工程のおかげで、OpenAI が2022年の論文「Training language models to follow instructions with human feedback」(InstructGPT) で実用化を示しました。身近な例えでいうと、作文の正解を丸暗記させるのではなく、たくさんの下書きに「A と B ならどっちが好印象か」と人が評価し、その好みを採点係に教え込んで、AI にウケの良い書き方を練習させるイメージです。学習は大きく3段階で、まず手本データで素直に追加学習（SFT）し、次に人間のランク付けから報酬（採点）モデルを作り、最後にその採点を最大化するようAI本体を強化学習で磨きます。混同しやすいファインチューニングは「モデルを追加学習で作り変える作業」全般を指す広い言葉で、RLHF はその中でも“人間の好み”を報酬にして仕上げる特定の工程だと整理すると分かりやすくなります。
❓ FAQ
よくある質問
- Q. RLHF とは？
- A. 人間がAIの複数の回答に「こっちが良い」と順位をつけ、その好みを学んだ採点モデルを使ってAI本体を再学習させる手法です。読みは「アールエルエイチエフ」で、Reinforcement Learning from Human Feedback（人間のフィードバックによる強化学習）の略です。ChatGPT が親切で礼儀正しく答えるようになった主な理由がこの工程で、AIを“行儀よく・役立つ”形に仕上げるのに使われます。
- Q. RLHF とファインチューニングの違いは？
- A. ファインチューニングは「学習済みモデルに追加学習させて作り変える作業」全般を指す広い言葉です。RLHF はその中でも、人間の好みを報酬にしてAIを磨く特定の工程を指します。つまり RLHF はファインチューニングの一種で、両者は対立する概念ではなく包含関係にあると考えると分かりやすいです。
- Q. RLHF と Constitutional AI（RLAIF）は何が違うの？
- A. どちらもAIを行儀よくする学習ですが、回答の“採点役”が違います。RLHF は人間が「どちらの答えが良いか」を判定するのに対し、Constitutional AI は文章で書かれた原則（憲法）を参照したAIが採点役を務めます。後者は人間の代わりにAIが評価するため RLAIF（AIフィードバックによる強化学習）とも呼ばれ、人手を減らせるのが特徴です。
- Q. RLHF について初心者が知っておくべき注意点は？
- A. RLHF は普通のユーザーが自分で行う作業ではなく、AI提供企業がモデルを仕上げる裏側の工程だと押さえれば十分です。注意点として、報酬は人間の好みから作るため、評価者の偏りや「とにかく丁寧に長く書けば高評価」といった“採点のクセ”をAIが学んでしまうことがあります。RLHF は安全性を高める助けにはなりますが、巧妙な指示で安全装置を破るジェイルブレイクを完全に防ぐものではない点も理解しておくと安心です。
🔗 関連
あわせて読みたい
関連 AI モデル
