Model Collapse bedeutet: Wird ein Modell wiederholt mit Daten trainiert, die frühere Modelle erzeugt haben, wird seine Ausgabeverteilung von Runde zu Runde enger, bis seltene, aber wichtige Teile der realen Welt verschwinden. Häufige Formulierungen werden verstärkt, ungewöhnliche verschwinden zuerst, Fehler verfestigen sich wie richtige Antworten.
Wie die Ränder verschwinden
Echte Daten ballen sich in der Mitte, eine Minderheit liegt an den Rändern, den Tails der Verteilung. Generative Modelle bevorzugen beim Sampling ohnehin Inhalte mit hoher Wahrscheinlichkeit, Tail-Beispiele werden seltener gewählt. Trainiert man die nächste Generation damit, werden die Ränder noch dünner. Shumailov und Kollegen zeigten diesen Prozess 2024 in einer Nature-Studie experimentell: Rekursives Training mit generierten Daten lässt die Verteilungstails schrittweise verschwinden.
Nicht dasselbe wie Kontamination oder Overfitting
Kontamination meint schmutzige Daten von außen. Collapse beginnt, wenn die eigene Ausgabe zurückfließt: Die Daten sehen sauber aus, aber die Vielfalt wird jede Runde dünner. Overfitting heißt, einen Trainingsdatensatz zu gut auswendig zu lernen; Collapse verändert die Form der gesamten Verteilung, sodass selbst neue Testfragen ärmere Antworten bekommen.
Realistisch ist die schleichende Variante
Eine neue Generation rein aus synthetischen Daten zu trainieren, ist bei seriösen Teams selten. Das reale Risiko ist ein kippendes Verhältnis: KI-generierte Texte und Bilder fluten das Web, gescrapte Korpora enthalten still mehr synthetische Inhalte, ohne Herkunftskennzeichnung und ohne Ausgleich mit echten Daten. Homogenisierte Texte und konvergierende Bildstile sind frühe Anzeichen.
Verbreitete Missverständnisse
Hohe Qualität der generierten Daten verhindert Collapse nicht: Selbst wenn jede Probe gut aussieht, frisst die Sampling-Schieflage zu hohen Wahrscheinlichkeiten die Tails auf. Collapse beginnt auch nicht mit Kauderwelsch; frühe Ausgaben wirken stabiler und glatter, nur monotoner. Wirksam sind genügend echte Daten, Kennzeichnung und Dosierung synthetischer Daten sowie gezielte Bewertung von Long-Tail-Beispielen.
