困惑度，是衡量语言模型对下一个词有多不确定的一个数字：模型在续写一句话时，对接下来真正出现的词越意外，困惑度就越高；越觉得理所当然，困惑度就越低。厂商发布新模型时经常把困惑度写进参数表，数字看着小巧精确，很容易让人以为它就是模型聪不聪明的成绩单。其实它只回答了一个很窄的问题，读懂它的边界，比记住数字本身重要得多。
它是怎么算出来的（只讲直觉）
语言模型每写一个词，都会给词表里的候选词打一串概率：越有把握，就越把高概率押在少数几个词上。测试时拿一段模型没参与训练的文本逐词考它，看它给真实答案分配的概率有多高。真实词总是拿到高概率，说明它对这类文本的套路很熟，困惑度就低；经常押错宝，困惑度就高。它和训练里常用的交叉熵损失是同一件事的两种说法，交叉熵取指数再平均，大致就得到困惑度，不必记公式，记住画面就行：困惑度像是在说，模型每走一步，平均要在多少个同样可疑的选项里纠结。
还有一个前提容易被忽略：困惑度必须在一套固定文本上测才有意义。拿小说测和拿代码测，难度根本不是一回事；文本越规整、越重复，数字天然越好看。
数值低，到底说明什么、不说明什么
它能说明的是：模型对这类文本的语言规律拟合得好，续写常见表达时更稳，训练通常也更充分。把它用在同一模型训练前后的对比上很有价值，数字下降意味着它确实更吃透了这类语料。
它不能说明的是答题能力。困惑度不测推理、不测事实对错，更不测会不会一本正经地编造。一段话语言上无比顺滑、概率上无比合理，内容完全可以是错的。另外，困惑度低也不代表回答更有用：把常见套话说得滚瓜烂熟的模型，困惑度可能很好看，但遇到需要查证、计算和判断的问题照样翻车。
和准确率、基准分数不是一回事
准确率看的是选择题式的对错，有明确答案；基准测试分数看的是在数学、代码、知识等具体任务上的表现。困惑度看的只是语言层面的意外程度，三者不在一个维度。打个比方：一个学生把课文背得流利，和他考试能拿高分，是两件相关的事，但绝不能互相替代。模型选型时把三类指标并排看，才不会被单一数字牵着走。
三个最常见的误解
误解一：困惑度越低，模型越聪明。它只对测过的那类文本成立，换个领域数字就可能完全不同，聪明与否还要看任务表现。
误解二：不同模型的困惑度可以直接横比。这是最坑人的一条。分词方式不同、测试文本不同、上下文长度不同，都会让数字失去可比性。A 模型报 8、B 模型报 12，不代表 A 更强，可能只是两家没在同一张卷子上考试。
误解三：困惑度低，回答就可靠。流畅不等于正确。模型完全可能用极低的困惑度，稳定地输出一个流传很广的错误说法，因为语料里它出现得多。
普通用户怎么看厂商公布的数字
先问三件事：是在什么文本上测的、和谁比、比的是不是同一套条件。只有厂商拿同一测试集、和自家上一代对比时，下降才有参考价值。看到跨厂商的困惑度排行榜，先存疑，再去看它在真实任务上的表现。对绝大多数人来说，困惑度适合当训练质量的旁证，不适合当购买和选型的决定因素。你真正要的答案，还是把它放进你自己的问题里试一次。
