--- title: "蒸留（Distillation） とは？大きいモデルの知識を小さいモデルに移す。 | AI用語集 - ai-garage" description: "蒸留（Distillation）（Knowledge Distillation）を初心者向けにやさしく解説。大きいモデルの知識を小さいモデルに移す。 蒸留は、大きな「先生モデル」の知識を小さな「生徒モデル」に移して、軽くて賢いモデルを作る技術" source: https://ai-garage.jp/glossary/distillation/ --- 技術 # 蒸留（Distillation）とは？ 最終更新 2026年7月6日 別名: Knowledge Distillation / 知識蒸留 大きいモデルの知識を小さいモデルに移す。 ⚡ 30秒でわかる ## 蒸留（Distillation） の主なポイント - 1 蒸留は、大きな「先生モデル」の知識を小さな「生徒モデル」に移して、軽くて賢いモデルを作る技術 - 2 正解だけでなく先生の「答えの確率分布（自信度）」まで教えるのが普通の学習との違い - 3 スマホやPCで動く軽量LLMの多くが、この蒸留で作られている - 4 量子化（モデルを圧縮）やファインチューニング（用途に合わせ込む）とは目的が異なる - 5 2015年に Hinton らが提唱した古典的手法で、DistilBERT や DeepSeek-R1 の軽量版など実例も多い 📖 詳しく ## 蒸留（Distillation） とは 蒸留（知識蒸留）とは、大きく賢い「先生モデル」のふるまいを、小さく軽い「生徒モデル」に真似させて学習させる技術です。ふつうの学習が「正解・不正解」だけを教えるのに対し、蒸留では先生が出す「答えの自信度（この答えが80%、別の答えが15%…という確率の分布）」まで生徒に渡すため、生徒は少ないサイズでも先生の判断のクセごと吸収できます。たとえば、できる先輩の答案を丸暗記するのではなく「なぜその答えに自信があり、どこで迷ったか」まで教われば、後輩が短期間で実力に近づけるのと同じイメージです。この技術のおかげで、スマホやノートPCでも動く軽量LLMが、はるかに大きなモデルに近い受け答えをできるようになりました。似た言葉に[量子化](https://ai-garage.jp/glossary/quantization/)や[ファインチューニング](https://ai-garage.jp/glossary/fine-tuning/)がありますが、量子化が「同じモデルを圧縮して軽くする」、ファインチューニングが「モデルを特定の用途に合わせ込む」のに対し、蒸留は「別の小さなモデルへ知識を引っ越しさせる」点が違います。 ❓ FAQ ## よくある質問 Q. 蒸留（ディスティレーション）とは何ですか？ A. 大きく賢い「先生モデル」の出力を手本にして、小さく軽い「生徒モデル」を学習させる技術です。先生の答えだけでなく「どの答えにどれくらい自信があるか」という確率まで真似させるため、生徒は小さいサイズでも先生に近い性能を出せます。スマホで動くLLMの多くがこの方法で作られています。 Q. 蒸留と量子化・ファインチューニングは何が違うの？ A. 量子化は「同じモデルの数値を圧縮して軽くする」、ファインチューニングは「既存モデルを特定の用途に合わせ込む」技術です。これに対し蒸留は「先生モデルから別の小さなモデルへ知識を引っ越しさせる」点が違います。目的が近いため、軽量化の現場では蒸留と量子化を組み合わせて使うこともよくあります。 Q. 初心者が蒸留で気をつけることは？ A. まず「軽いモデルが賢い理由のひとつが蒸留」と理解すれば十分です。ただし生徒モデルは先生を超えることは基本的になく、先生の弱点や偏りもそのまま受け継ぎます。また、他社の非公開モデルの出力を勝手に蒸留に使うと規約違反になる場合があるため、利用条件の確認が大切です。 🔗 関連 ## あわせて読みたい 関連用語 [量子化](https://ai-garage.jp/glossary/quantization/)[ファインチューニング](https://ai-garage.jp/glossary/fine-tuning/)[LLM（大規模言語モデル）](https://ai-garage.jp/glossary/llm/)[LoRA](https://ai-garage.jp/glossary/lora/) 関連 AI モデル [DeepSeek — DeepSeek 中国発、コスパとオープン性の象徴。2026年9月10日に出た V4.1-Flash が旗艦 V4-Pro を性能でも価格でも上回った。予告された Pro の引退は撤回され、2本立てで提供中。](https://ai-garage.jp/models/deepseek/)[Llama — Meta オープンウェイト LLM の代名詞——ただし Meta の開発は Muse 系へ移り、オープン版も2026年8月公開の Muse Glimmer が担う。Llama 4 が事実上の最終世代。](https://ai-garage.jp/models/llama/)[Gemini — Google Google 製。Gmail / Docs との連携と、100万トークンの長文＋画像・動画・音声の読み取りが持ち味。一般に使える最新は 3.8 Flash（次世代の Gemini 4 Argon は 2026-09-30 に発表されたが、いまはサイバー防御の組織だけに限定提供）。](https://ai-garage.jp/models/gemini/) 関連トピック [オープンソースAI vs クローズドAI Qwen・DeepSeek・Kimi がトップ走者に迫る。性能だけでなく『所有権』が論点に。](https://ai-garage.jp/topics/open-vs-closed/)[中国AIの台頭 — DeepSeek / Qwen が世界を揺るがす クローズドモデルとほぼ同等性能を「数十分の一のコスト」で。地政学級の存在感に。](https://ai-garage.jp/topics/china-ai-rise/) 📰 この用語が登場する記事 ## 「蒸留（Distillation）」が出てくるニュース [![Claude の利用ポリシーが11月12日に改定！規約違反とアカウント停止の条件は？](https://ai-garage.jp/images/news-heroes/claude-usage-policy-2026-update-card.webp) 2026/10/11 Claude の利用ポリシーが11月12日に改定！規約違反とアカウント停止の条件は？](https://ai-garage.jp/news/claude-usage-policy-2026-update/)[![Claude Opus 5.5 登場！Fable 5.1 並みで費用は Opus 5 の4割減](https://ai-garage.jp/images/news-heroes/claude-opus-5-5-launch-card.webp) 2026/9/23 Claude Opus 5.5 登場！Fable 5.1 並みで費用は Opus 5 の4割減](https://ai-garage.jp/news/claude-opus-5-5-launch/)[![AI開発の「ペース調整」とは？アモデイCEOの3段階計画、アルトマンも同調](https://ai-garage.jp/images/news-heroes/amodei-pacing-the-frontier-card.webp) 2026/9/13 AI開発の「ペース調整」とは？アモデイCEOの3段階計画、アルトマンも同調](https://ai-garage.jp/news/amodei-pacing-the-frontier/) 📎 SOURCES ## 一次ソース - [→ Distilling the Knowledge in a Neural Network (Hinton et al., 2015)](https://arxiv.org/abs/1503.02531) 技術 カテゴリの用語 [Attention（注意機構）](https://ai-garage.jp/glossary/attention/)[Diffusion Model（拡散モデル）](https://ai-garage.jp/glossary/diffusion/)[Embeddings（埋め込みベクトル）](https://ai-garage.jp/glossary/embeddings/)[LoRA](https://ai-garage.jp/glossary/lora/)[max_tokens（出力の上限設定）](https://ai-garage.jp/glossary/max-tokens/)[Mixture of Experts（MoE）](https://ai-garage.jp/glossary/mixture-of-experts/)[RAG（検索拡張生成）](https://ai-garage.jp/glossary/rag/)[TPS（Tokens Per Second）](https://ai-garage.jp/glossary/tps/)[Transformer](https://ai-garage.jp/glossary/transformer/)[TTFT（Time to First Token）](https://ai-garage.jp/glossary/ttft/)[ファインチューニング](https://ai-garage.jp/glossary/fine-tuning/)[ベクトルDB](https://ai-garage.jp/glossary/vector-db/)[マルチモーダル](https://ai-garage.jp/glossary/multimodal/)[音声クローン](https://ai-garage.jp/glossary/voice-clone/)[音声認識（STT）](https://ai-garage.jp/glossary/speech-to-text/)[強化学習](https://ai-garage.jp/glossary/reinforcement-learning/)[量子化](https://ai-garage.jp/glossary/quantization/) [← 前の用語 強化学習](https://ai-garage.jp/glossary/reinforcement-learning/) [次の用語 → 量子化](https://ai-garage.jp/glossary/quantization/) NEXT [FOR BEGINNERS AI初心者ガイド 用語が多くて混乱したら、まず全体像から。AI初心者が「何から始める？」を5分で。](https://ai-garage.jp/beginners/) [GLOSSARY AI用語集 一覧へ 96語をカテゴリ・検索で引ける。気になる用語をまとめてチェック。](https://ai-garage.jp/glossary/)