知识蒸馏（Knowledge Distillation）是把大模型的"暗知识"传给小模型的技术：先让一个庞大的教师模型生成参考输出，再让小得多的学生模型学习这些输出，最终得到一个又小又能用的模型。
老师到底传了什么：软标签里的暗知识
普通训练只告诉模型"标准答案是 A"，而教师模型传给学生的不只是一份答案，还附带一份完整的"犹豫记录"——它对每个选项的概率打分。这份概率分布叫软标签，暗含了"猫和老虎比猫和桌子更像"这类结构性常识。学生模型通过模仿这套分布，学到的不是单一答案，而是老师的判断方式。所谓暗知识，就是训练数据的标签里没有写出来、却藏在模型概率里的这类信息。
温度参数：控制老师讲得多细
蒸馏时常用一个温度参数调节软标签的平滑程度。温度越高，概率分布越平坦，学生越能看清老师对各选项的细微差别；温度越低，分布越尖锐，越接近普通硬标签。调温度就是在控制"老师讲得多细"：讲得太粗学不到结构，讲得太细又引入噪声。实践中温度是靠试出来的超参数，没有放之四海皆准的值。
损失函数：学生要同时听两门课
学生模型的训练目标通常由两部分组成：一是向软标签看齐，模仿老师的概率分布；二是向真实标签看齐，保证基本正确率，两者用一个权重系数配比。只听老师的，学生会复刻老师的错误；只看硬标签，又学不到暗知识。进阶做法还会对齐中间层的特征表示，让学生不仅学结论，还学思路。
天花板效应：学生很难超过老师
蒸馏有一条硬边界：学生的能力上限几乎总被教师模型锁死。老师判断错的地方，学生大概率跟着错；模仿过程中还可能丢失老师的部分能力。蒸馏的本质是"有损继承"，不是"青出于蓝"。指望一个几十亿参数的小模型靠蒸馏在综合能力上反超上百亿参数的老师，不符合实际经验。
两个常见误解
其一，"蒸馏就是压缩复制"。压缩只是结果，蒸馏的核心是知识转移：老师把概率分布里的结构知识交出来，学生学会的是一套新的决策方式。其二，"蒸馏完小模型就和大模型一样强"。蒸馏追求的是"够用"——在手机、边缘设备这类算力受限的场景里，用最小的体积换来接近老师的表现，而不是复刻老师的全部能力。
