Emergente Fähigkeiten sind Aufgabenfähigkeiten, die kleine Modelle kaum bewältigen, die aber plötzlich möglich werden, sobald die Größe eines Modells eine bestimmte Schwelle überschreitet. Das ist keine gewöhnliche, schrittweise Verbesserung, sondern ein scheinbarer Sprung vom Nichts zum Etwas: Ist ein Modell klein, löst es mehrschrittige Rechenaufgaben fast durchweg falsch und lernt ein neues Format selbst dann nicht, wenn man ihm mehrere Beispiele gibt. Ist es groß genug, löst es dieselben Aufgaben plötzlich richtig, arbeitet sich Schritt für Schritt durch komplexe Schlussfolgerungen und kann eine neue Aufgabe anhand von Beispielen auf der Stelle lernen. Diese Fähigkeit, aus Beispielen zu lernen, heißt In-Context-Learning und ist das am häufigsten genannte Beispiel für Emergenz.
Warum der Gesamtfortschritt glatt verläuft, einzelne Fähigkeiten aber springen
Über Emergenz lässt sich nicht sprechen, ohne die Skalierungsgesetze zu erwähnen. Sie beschreiben, dass der gesamte Vorhersageverlust eines Modells auf großen Textmengen glatt und vorhersehbar sinkt, wenn Parameterzahl, Datenmenge und Rechenleistung wachsen. Der Haken: Ein glatter Gesamtverlust bedeutet nicht, dass jede einzelne Aufgabe glatt besser wird. Aufgaben wie Multiple-Choice-Fragen oder mehrschrittige Textaufgaben verlangen, dass eine ganze Kette von Schritten stimmt; ein falscher Schritt macht die Antwort falsch. Ein kleines Modell nähert sich der Lösung tatsächlich Stück für Stück an, doch solange ihm noch wenige Schritte zur vollständig richtigen Lösung fehlen, stehen auf seinem Zeugnis nur Nullen. Sobald die Genauigkeit jedes Schritts einen kritischen Punkt überschreitet, geht die ganze Aufgabe plötzlich auf, und die Kurve zeigt einen Sprung.
Die Debatte: Ein Teil der Emergenz könnte ein Artefakt der Bewertung sein
Ob Emergenz bedeutet, dass sich im Inneren des Modells wirklich etwas qualitativ verändert hat, ist bis heute umstritten. Einige Untersuchungen weisen darauf hin, dass viele berichtete Sprünge mit der Wahl der Bewertungsmetrik zusammenhängen: Schaut man nur auf eine Alles-oder-nichts-Metrik wie die Frage, ob die Endantwort stimmt, wird Fortschritt zu Stufen komprimiert. Wechselt man zu einer kontinuierlicheren Metrik, etwa indem man misst, wie nahe jede Token-Vorhersage liegt, oder Teilpunkte für richtige Schritte vergibt, werden die Kurven derselben Modelle deutlich glatter, und das Sprunggefühl lässt stark nach. Das erinnert daran, dass man aus dem plötzlichen Auftauchen einer Fähigkeit nicht direkt schließen kann, im Modell müsse eine qualitative Veränderung stattgefunden haben; ein Teil des Effekts kann durch die Messmethode verstärkt sein. Das widerlegt Emergenz aber auch nicht; es zeigt nur, dass man Veränderungen des Modells von Veränderungen der Metrik unterscheiden muss.
Die Grenzen: nicht genau vorhersagbar, und Parameter sind nicht die einzige Variable
Die praktisch wichtigste Grenze der Emergenz ist, dass sie sich nicht genau vorhersagen lässt. Niemand kann im Voraus berechnen, bei welcher Größe eine bestimmte Fähigkeit auftreten wird; bestätigen lässt sie sich nur im Rückblick, nachdem das Modell trainiert und getestet wurde. Auch emergiert nicht jede Fähigkeit: Manche Aufgaben verbessern sich mit der Größe nur langsam, andere bleiben durchweg schlecht. Die Parameterzahl ist zudem nicht die einzige Variable. Datenqualität, Datenzusammensetzung und Trainingsmethoden verändern ebenfalls, wann eine Fähigkeit auftritt, und zwei Modelle mit ähnlicher Parameterzahl können sich in der Leistung stark unterscheiden. Man kann also sagen, Größe sei eine Schwelle für Emergenz, aber nicht, dass das Aufstocken von Parametern eine bestimmte Fähigkeit zwangsläufig erkauft.
Zwei verbreitete Missverständnisse sollten ebenfalls ausgeräumt werden. Emergenz bedeutet kein Erwachen des Bewusstseins. Sie beschreibt eine Veränderung der Aufgabenleistung, ein messbares und reproduzierbares Phänomen, und das ist etwas anderes als die Frage, ob ein Modell subjektives Erleben hat. Emergenz bedeutet auch nicht, dass größer allmächtiger heißt. Sprünge treten nur bei manchen Aufgaben auf, und dasselbe Modell kann bei anderen Aufgaben weiterhin häufig Fehler machen. Emergenz als eine begrenzte, nicht vollständig kontrollierbare Fähigkeitsveränderung zu verstehen, die Größe mit sich bringt, kommt ihrer tatsächlichen Bedeutung in der Forschung näher, als sie sich als mysteriöses Erwachen vorzustellen.
