Knowledge Distillation ist eine Technik, mit der das „dunkle Wissen" eines großen Modells an ein kleines weitergegeben wird: Zuerst erzeugt ein gewaltiges Lehrer-Modell Referenzausgaben, dann lernt ein viel kleineres Schüler-Modell aus diesen Ausgaben – am Ende steht ein Modell, das klein und zugleich brauchbar ist.
Was der Lehrer wirklich weitergibt: dunkles Wissen in Soft Labels
Gewöhnliches Training sagt einem Modell nur „die richtige Antwort ist A", während ein Lehrer-Modell dem Schüler mehr als eine Antwort übergibt – nämlich auch ein vollständiges „Protokoll des Zögerns": seine Wahrscheinlichkeitsbewertungen für jede Option. Diese Wahrscheinlichkeitsverteilung heißt Soft Label und enthält implizit strukturelles Wissen wie „eine Katze ähnelt einem Tiger mehr als einem Tisch". Indem das Schüler-Modell diese Verteilung nachahmt, lernt es keine einzelne Antwort, sondern die Urteilsweise des Lehrers. Dunkles Wissen ist genau diese Art von Information – in den Trainingslabels steht sie nirgends, doch sie verbirgt sich in den Wahrscheinlichkeiten des Modells.
Temperatur: steuert, wie fein der Lehrer erklärt
Bei der Destillation wird häufig ein Temperaturparameter verwendet, um die Glätte der Soft Labels zu regulieren. Je höher die Temperatur, desto flacher die Wahrscheinlichkeitsverteilung, und desto klarer erkennt der Schüler die feinen Unterschiede des Lehrers zwischen den Optionen; je niedriger die Temperatur, desto spitzer die Verteilung, desto näher an gewöhnlichen Hard Labels. Die Temperatur zu justieren heißt zu steuern, „wie fein der Lehrer erklärt": zu grob, und der Schüler verpasst die Struktur; zu fein, und Rauschen schleicht sich ein. In der Praxis ist die Temperatur ein Hyperparameter, der durch Ausprobieren gefunden wird – einen universell richtigen Wert gibt es nicht.
Verlustfunktion: der Schüler belegt zwei Kurse gleichzeitig
Das Trainingsziel eines Schüler-Modells besteht üblicherweise aus zwei Teilen: erstens den Soft Labels zu entsprechen, indem es die Wahrscheinlichkeitsverteilung des Lehrers nachahmt, und zweitens den wahren Labels zu entsprechen, um die grundlegende Korrektheit zu sichern – beide werden über einen Gewichtungskoeffizienten ausbalanciert. Hört der Schüler nur auf den Lehrer, kopiert er auch dessen Fehler; schaut er nur auf Hard Labels, lernt er nie das dunkle Wissen. Fortgeschrittene Ansätze gleichen zusätzlich die Merkmalsrepräsentationen der Zwischenschichten an, sodass der Schüler nicht nur Schlussfolgerungen, sondern auch Denkweisen lernt.
Der Deckeneffekt: Schüler übertreffen ihren Lehrer selten
Destillation hat eine harte Grenze: Die Fähigkeitsobergrenze des Schülers ist fast immer an das Lehrer-Modell gebunden. Wo der Lehrer falsch urteilt, folgt der Schüler mit hoher Wahrscheinlichkeit; im Nachahmungsprozess können zudem Teile der Fähigkeiten des Lehrers verloren gehen. Destillation ist im Kern „verlustbehaftete Vererbung", nicht „der Schüler übertrifft den Meister". Zu erwarten, dass ein Modell mit wenigen Milliarden Parametern durch Destillation einen Lehrer mit Dutzenden Milliarden in der Gesamtleistung überholt, entspricht nicht der praktischen Erfahrung.
Zwei verbreitete Missverständnisse
Erstens: „Destillation ist nur Komprimieren und Kopieren." Kompression ist lediglich das Ergebnis; der Kern der Destillation ist Wissenstransfer: Der Lehrer übergibt das Strukturwissen in seinen Wahrscheinlichkeitsverteilungen, und der Schüler erlernt eine neue Art zu entscheiden. Zweitens: „Nach der Destillation ist das kleine Modell so stark wie das große." Destillation strebt „gut genug" an – in rechenbeschränkten Umgebungen wie Smartphones und Edge-Geräten mit minimaler Größe eine Leistung nahe am Lehrer zu erreichen, statt dessen sämtliche Fähigkeiten zu replizieren.
