涌现能力是指小模型几乎做不到、规模跨过某个门槛后突然能够完成的任务能力。它不是普通的慢慢变好，而是看上去从无到有的跳变：模型较小时，多步算术基本全错，给了几个示例也学不会新格式；规模大到一定程度后，同样的题目突然能做对，复杂推理能一步步往下走，还能按示例现学新任务。这种按示例现学的能力叫上下文学习，是涌现最常被提到的例子。
为什么整体进步平滑，单项能力却会跳变
讲涌现离不开规模定律。规模定律描述的是：参数量、数据量和算力变大时，模型在大量文本上的整体预测损失会平滑、可预期地下降。问题在于，整体损失平滑，不代表每一项具体任务的成绩都平滑。做选择题、算多步应用题这类任务，往往要求一整串环节都对，中间错一步，答案就是错的。小模型其实也在一点点接近，只是离全对还差几步时，成绩单上看起来全是零分；等到各环节的准确率都越过临界点，整道题突然能做对，曲线上就成了一次跳变。
争议：有一部分涌现可能是评测造成的错觉
涌现是不是模型内部真的发生了质变，学界至今有争议。有研究指出，不少被报告的跳变和评测指标的选择有关：如果只看最终答案对不对这种非对即错的指标，进步会被压成台阶；换成更连续的指标，比如逐个词元看预测得有多接近、给部分正确的步骤计分，同一批模型的曲线会平滑很多，跳变感明显变弱。这提醒我们，看到能力突然冒出来时，不能直接下结论说模型内部一定发生了某种质变，其中可能混着测量方法放大的效果。但这也不是否定涌现，只是说明判断时要分清哪些是模型的变化，哪些是指标的变化。
边界：预测不了，也不是只看参数量
涌现最实用的边界是不可精准预测。没人能提前算出某个能力会在多大规模时出现，只能在模型训出来、测过之后回头确认；也不是所有能力都会涌现，有些任务随规模扩大只是缓慢改善，有些始终做不好。参数量也不是唯一变量，数据质量、数据构成和训练方法同样会改变能力出现的时机，两个参数量相近的模型，表现可能差得很远。因此谈涌现时说规模是门槛可以，说堆参数就必然换来某项能力，就不成立了。
还要分清两个常见误解。涌现不等于意识觉醒，它说的是任务成绩的变化，是可以测量、可以复现的现象，和模型有没有主观体验是两回事。涌现也不等于越大越全能，跳变只发生在部分任务上，模型在其他任务上可能依然频繁出错。把涌现理解成规模带来的、有限且不完全可控的能力变化，比把它想象成神秘的觉醒，更接近它在研究里的实际含义。
