Katastrophales Vergessen beschreibt, was geschieht, wenn ein neuronales Netz Aufgaben nacheinander lernt und beim Meistern der späteren einen großen Teil des Früheren verliert. Feintunt man ein fähiges Modell mit Daten aus einem neuen Bereich, steigen die Werte der neuen Aufgabe, während Fragenbeantwortung, Klassifikation oder eine Sprache, die es gut beherrschte, spürbar schlechter werden. Viele Teams erleben das bei ihrem ersten inkrementellen Training. Das Modell ist nicht dümmer geworden; die Trainingsmethode selbst trägt diese Nebenwirkung.
Warum neue Daten alte Parameter wegspülen
Die Fähigkeiten eines Modells lagern nicht in getrennten Regalen pro Aufgabe, sondern verteilt über denselben Parametersatz. Beim Weitertrainieren misst die Zielfunktion nur den Fehler auf den neuen Daten, also schieben Gradienten die Parameter in Richtung der neuen Aufgabe, und niemand verteidigt die alten Positionen. Je mehr sich die Aufgaben Parameter teilen, je länger der Lauf und je größer die Lernrate, desto mehr alte Fertigkeit wird überschrieben. Wie eine Tafel, die jede Stunde neu beschrieben wird, ohne einen Bereich für Altes zu reservieren: Gelöscht wird nicht eine Ecke, sondern ganze Flächen.
Abgrenzung zu zwei ähnlichen Situationen
Die erste ist gewöhnlich schlechte Verallgemeinerung: Wer eine nie gelernte Aufgabe nicht löst, vergisst nichts. Der Maßstab ist streng. Dieselbe alte Aufgabe, vor dem neuen Training richtig und danach falsch beantwortet, wobei der Einbruch von diesem Training stammt – das ist katastrophales Vergessen. Die zweite ist menschliches Vergessen, meist schleichend und durch Wiederholung und Verknüpfung reparierbar. Neuronales Vergessen kann abrupt sein: Eine einzige Trainingsrunde kann die Genauigkeit einer Aufgabe nahe an den Zufall drücken, daher das Wort katastrophal.
Wo es am häufigsten zuschlägt
Ergänzt man ein Support-Modell laufend um Fragen zu neuen Produkten, kann es bei alten Produkten langsam schlechter werden. Trainiert man nach einer Sprache intensiv eine zweite, verblasst die Feinheit der ersten. Lernt ein Roboter oder ein Fahrmodell mit Sensordaten einer neuen Stadt weiter, kann sein Urteil in der alten Umgebung ausdünnen. Das gemeinsame Muster: Daten kommen nacheinander, und bewertet wird nur der aktuelle Stapel. Alles gemischt in einem Lauf zu trainieren mildert den Effekt meist deutlich – darum ist er beim Vortraining selten Thema und beim inkrementellen Feintuning und kontinuierlichen Lernen ständig.
Gegenmittel, jedes für einen Abschnitt
Replay ist der einfachste und häufigste Griff: Man mischt Proben alter Aufgaben unter die neuen Daten, wie Wiederholung neben neuem Stoff, zum Preis von Datenspeicherung und Rechenzeit. Regularisierungsverfahren verriegeln die für alte Aufgaben wichtigsten Parameter und bestrafen ihre Änderung; die klassische Idee ist die elastische Gewichtskonsolidierung. Isolationsverfahren geben neuen Aufgaben eigenen Raum und trainieren nur wenige Zusatzparameter, niedrigdimensionale Adapter oder getrennte Module, sodass die Basis fast ruht. In der Praxis kombinieren Teams all das: kleine Lernrate, beigemischte Altproben, nur Adapter trainieren und nach jedem Update ein fester Regressionstest mit alten Aufgaben.
Vergessen ist nicht einfach der Feind
Ein oft übersehener Punkt: Etwas Vergessen ist nützlich. Alte Daten enthalten überholte Formulierungen, falsche Labels und abgeschaffte Geschäftsregeln, und ein Modell, das nichts davon loslässt, kann Neues nicht aufnehmen. Verhindern muss man das unkontrollierte Vergessen, bei dem eine wichtige Fähigkeit still und ungeprüft weggespült wird. Die entscheidende Gewohnheit lautet deshalb nicht null Vergessen, sondern: nach jedem inkrementellen Update den festen Satz alter Aufgaben erneut messen und nur ausliefern, wenn der Einbruch innerhalb der vorher festgelegten Grenze bleibt.
