模型蒸馏：为什么越来越多“小模型”能追上大模型体验
模型蒸馏是近两年被频繁提到的一个关键词，尤其是在“小模型为什么越来越强”这个问题上，它几乎总会出现。简单说，蒸馏的思路就是让较小的学生模型去学习较大的教师模型，把后者的一部分能力、行为方式和输出规律迁移过来，从而在更低成本下拿到更接近的效果。 这件事之所以重要，是因为很多团队并不需要一个最顶级、最昂...
AI百科 • Admin •
81
模型优化
找到 2 篇相关文章
找到 2 篇相关文章
模型蒸馏是近两年被频繁提到的一个关键词，尤其是在“小模型为什么越来越强”这个问题上，它几乎总会出现。简单说，蒸馏的思路就是让较小的学生模型去学习较大的教师模型，把后者的一部分能力、行为方式和输出规律迁移过来，从而在更低成本下拿到更接近的效果。 这件事之所以重要，是因为很多团队并不需要一个最顶级、最昂...
微调是很多团队在做 AI 落地时都会遇到的一个词，但它常常被误解成“只要效果不好就去微调模型”。实际上，微调不是给模型简单加点资料，而是通过额外训练，让模型在回答风格、任务模式或特定输出结构上更稳定。也正因为它改动的是模型行为本身，所以微调和提示词优化、RAG 解决的问题并不一样。 如果你只是想让模...