模型压缩与量化

把模型塞进手机或一台入门显卡，靠的是三种办法：蒸馏让小模型去模仿大模型的输出分布，量化把权重从十六位压到四位或八位，剪枝则直接删掉贡献小的连接。三者换来的是显存、延迟和电费，代价是精度与鲁棒性，而且不同任务掉点差别很大，长文本生成和数学推理往往最先受影响。本标签说明每种方法的适用条件，以及如何确认压缩后还能不能上线。