模型蒸馏：为什么越来越多“小模型”能追上大模型体验
模型蒸馏是近两年被频繁提到的一个关键词，尤其是在“小模型为什么越来越强”这个问题上，它几乎总会出现。简单说，蒸馏的思路就是让较小的学生模型去学习较大的教师模型，把后者的一部分能力、行为方式和输出规律迁移过来，从而在更低成本下拿到更接近的效果。 这件事之所以重要，是因为很多团队并不需要一个最顶级、最昂...
AI百科 • Admin •
81
模型压缩
找到 2 篇相关文章
找到 2 篇相关文章
模型蒸馏是近两年被频繁提到的一个关键词，尤其是在“小模型为什么越来越强”这个问题上，它几乎总会出现。简单说，蒸馏的思路就是让较小的学生模型去学习较大的教师模型，把后者的一部分能力、行为方式和输出规律迁移过来，从而在更低成本下拿到更接近的效果。 这件事之所以重要，是因为很多团队并不需要一个最顶级、最昂...
模型量化是本地部署和高效推理里绕不开的关键词。很多人在看模型部署教程时，经常会碰到 8-bit、4-bit、AWQ、GPTQ 这类词，但不知道它们到底在解决什么问题。简单说，量化的核心就是把模型权重用更低精度来表示，从而降低显存占用、减少内存压力，让原本太大的模型更容易跑起来。 它之所以总和本地部署...