小型モデル

モデルの精製:なぜますます多くの「小型モデル」が大規模モデルの経験に追いつくのか

モデル蒸留は過去2年間で頻繁に話題に上るキーワードで、特に「なぜ小型モデルが強くなるのか」という問いにおいて、ほぼ必ず登場します。 簡単に言えば、蒸留の考え方は、小さな生徒モデルが大きな教師モデルから学び、後者の能力や行動、出力パターンの一部を移し、より低コストでより近い結果を得ることです。 これは...