Maschinelles Vergessen (Machine Unlearning) löst ein sehr konkretes Problem: Ein Modell wurde bereits mit bestimmten Daten trainiert, und nun soll es so arbeiten, als hätte es diese Daten nie gesehen. Die Originaldateien zu löschen, reicht dafür nicht aus, denn der Einfluss der Daten steckt bereits in den Parametern des Modells, das sie weiterhin wiedergeben oder nutzen kann.
Derzeit gibt es zwei Wege. Beim exakten Vergessen werden die zu vergessenden Daten aus dem Trainingsdatensatz entfernt und das Modell von Grund auf neu trainiert. Das Ergebnis ist per Definition am saubersten, doch der Rechenaufwand ist oft kaum zu tragen. Beim approximativen Vergessen werden die Parameter des bestehenden Modells direkt angepasst, sodass sein Verhalten dem eines neu trainierten Modells möglichst nahekommt. Das spart Rechenleistung, aber wie nah „nahe" ist, muss anhand eines neu trainierten Referenzmodells geprüft werden.
Es ist nicht dasselbe wie katastrophales Vergessen
Katastrophales Vergessen bedeutet, dass ein Modell beim Lernen einer neuen Aufgabe alte Fähigkeiten verliert. Es ist ein Nebeneffekt des Trainings, bei dem niemand festlegt, welche Daten vergessen werden sollen. Maschinelles Vergessen dagegen folgt einer klaren Löschanforderung: Für einen bestimmten Datenbestand soll der Einfluss beseitigt werden, und Ziel sowie Prüfkriterien stehen in der Anforderung. Beide haben mit „Vergessen" zu tun, laufen aber in völlig unterschiedliche Richtungen.
Warum „vergessen" so schwer zu prüfen ist
Es genügt nicht, nur zu schauen, ob das Modell nichts mehr ausgibt: Es kann auch einfach unterdrückt werden und bei einer anderen Fragestellung wieder antworten. In der Forschung vergleicht man das vergessene Modell deshalb häufig mit einem neu trainierten Referenzmodell und prüft, ob sein Verhalten bei den vergessenen und den behaltenen Daten nah genug beieinanderliegt. Ein Verfahren, das Rechenleistung spart, trainiert die Daten in Teilen (SISA) und trainiert nur den betroffenen Teil neu. Bei einer Prüfung lässt sich in der Regel vor allem nachvollziehen, welches Verfahren eingesetzt wurde und ob der Ablauf überprüfbar ist – nicht, ob eine Zusicherung wie „bereits vergessen" stimmt.
Wenn also behauptet wird, ein Modell habe bestimmte Daten vergessen, frage zuerst dreimal nach: Um welchen konkreten Datenbestand geht es? Wurde exakt neu trainiert oder approximativ angepasst? Womit wurde das geprüft? Wer das nicht beantworten kann, bietet höchstens ein „gibt es nicht mehr aktiv aus", aber keine Bereinigung im Modell selbst. Für normale Nutzerinnen und Nutzer heißt das auch: Einen Satz aus dem Chatverlauf zu löschen oder ein Gespräch zu leeren, ist etwas anderes, als ein Modell Trainingsdaten vergessen zu lassen. Das eine betrifft die Aufzeichnungen vor deinen Augen, das andere den Einfluss im Inneren des Modells.
