Distillation

模型蒸馏：为什么越来越多“小模型”能追上大模型体验

模型蒸馏是近两年被频繁提到的一个关键词，尤其是在“小模型为什么越来越强”这个问题上，它几乎总会出现。简单说，蒸馏的思路就是让较小的学生模型去学习较大的教师模型，把后者的一部分能力、行为方式和输出规律迁移过来，从而在更低成本下拿到更接近的效果。 这件事之所以重要，是因为很多团队并不需要一个最顶级、最昂...