技術
蒸留（Distillation）とは？
別名: Knowledge Distillation
大きいモデルの知識を小さいモデルに移す。
⚡ 30秒でわかる
蒸留（Distillation） の主なポイント
- 1 大きく重い「先生モデル」が出す答えを、小さく軽い「生徒モデル」が真似ることで、小型モデルでも先生に近い性能を引き出す技術です。
- 2 スマホで動くLLMの多くが、この蒸留で作られています。
📖 詳しく
蒸留（Distillation） とは
大きく重い「先生モデル」が出す答えを、小さく軽い「生徒モデル」が真似ることで、小型モデルでも先生に近い性能を引き出す技術です。
スマホで動くLLMの多くが、この蒸留で作られています。
❓ FAQ
よくある質問
- Q. 蒸留（Distillation） とは何ですか？
- A. 大きいモデルの知識を小さいモデルに移す。 大きく重い「先生モデル」が出す答えを、小さく軽い「生徒モデル」が真似ることで、小型モデルでも先生に近い性能を引き出す技術です。
- Q. 蒸留（Distillation） の主な特徴は？
- A. 大きく重い「先生モデル」が出す答えを、小さく軽い「生徒モデル」が真似ることで、小型モデルでも先生に近い性能を引き出す技術です。 スマホで動くLLMの多くが、この蒸留で作られています。
- Q. 蒸留（Distillation） に関連する用語は？
- A. 「量子化」、「学習」などが関連しています。
- Q. 蒸留（Distillation） の別名は？
- A. Knowledge Distillation とも呼ばれます。