Model Pruning ist Subtraktion am großen Modell: Man findet die Gewichte, die nahe null liegen und das Ergebnis kaum beeinflussen, löscht sie oder setzt sie auf null. Das Modell wird kleiner und schneller und verliert nur wenig Fähigkeit. Pruning wird oft mit Quantisierung und Destillation als Modellkompression zusammengefasst, doch die drei setzen an völlig verschiedenen Stellen an; dieser Eintrag beginnt daher mit dem Pruning selbst.
Was genau wird entfernt
Das Volumen eines neuronalen Netzes besteht aus Gewichten, den Stärkewerten der Verbindungen zwischen Neuronen. Nach dem Training sind diese Gewichte ungleich verteilt: Eine Minderheit der Verbindungen trägt den Großteil der Entscheidung, ein langer Schwanz liegt so nahe bei null, dass er fast Hintergrundrauschen ist. Pruning sortiert die Verbindungen nach Wichtigkeit und entfernt diesen Schwanz.
Es gibt zwei Vorgehensweisen. Unstrukturiertes Pruning setzt einzelne Gewichte auf null und hinterlässt eine Datei voller Nullen; das spart theoretisch Platz, doch normale Hardware rechnet mit Nullen nicht schneller, solange keine spezielle Sparse-Unterstützung vorhanden ist. Strukturiertes Pruning entfernt ganze Kanäle, Attention-Heads oder sogar Schichten und hinterlässt eine regelmäßige Form, die auf gewöhnlichen GPUs und Handy-Chips direkt schneller läuft. In der Praxis dominiert die zweite Variante, genau aus diesem Grund.
Warum das Modell den Verlust so vieler Verbindungen verkraftet
Der Schlüssel ist Überparametrisierung: Damit das Training funktioniert, bekommen Modelle meist weit mehr Parameter, als die Aufgabe tatsächlich braucht. Viele Verbindungen sind von Anfang an redundant, heben sich gegenseitig auf oder werden nur bei wenigen Beispielen aktiv. Sie zu entfernen gleicht dem Abbau eines Gerüsts, nicht dem einer tragenden Wand.
Pruning ist dennoch kein einmaliger Schnitt. Hartes Löschen kostet in der Regel spürbar Qualität, deshalb lautet die Standardroutine: etwas kappen, per Feintuning erholen, erneut kappen. Die Lotterielos-Hypothese beschreibt einen verwandten Befund: In einem großen Netz steckt ein deutlich kleineres Teilnetz, das allein trainiert fast ebenso gut abschneidet. Die Obergrenze des Prunings hängt davon ab, wie viel Redundanz vorhanden ist; ein bereits straff trainiertes Modell hat kaum Spielraum.
Abgrenzung zu Quantisierung und Destillation
| Verfahren | Was sich ändert | Modellstruktur | Typischer Gewinn |
|---|---|---|---|
| Pruning | Verbindungen oder ganze Kanäle werden entfernt | Kleiner, dünner | Weniger Parameter; strukturiert auch direkt schneller |
| Quantisierung | Werte von 16 Bit auf 8 oder 4 Bit gesenkt | Unverändert | Deutlich weniger Speicher |
| Destillation | Ein kleines Modell lernt, ein großes zu imitieren | Ein neues Modell | Ein eigenständiges kleines Modell |
Oft werden die drei kombiniert: erst Pruning, dann Quantisierung, danach Qualität per Destillation oder Feintuning zurückholen. Wirbt ein offenes Modell mit einer geprunten Variante, lohnt der Blick darauf, ob strukturell geschnitten oder nur genullt wurde; Ersteres läuft wirklich schneller, Letzteres wirkt meist nur kleiner.
Drei verbreitete Irrtümer
Erstens löscht Pruning keine Daten; es verändert interne Parameter und hat mit dem Trainingsdatensatz nichts zu tun. Zweitens ist mehr Pruning nicht automatisch besser: Jenseits der Redundanzgrenze bricht die Qualität steil ein, und zuerst verschwindet meist Nischenwissen, das gängige Tests gar nicht abfragen. Drittens schafft frei werdender Speicher keinen Platz für das Training größerer Modelle; Pruning dient vor allem der Inferenz, während Trainingsspeicher von Optimierer-Zuständen und Aktivierungen dominiert wird.
Zwei Fragen vorab: Sind Rechenleistung und Speicher des Zielgeräts wirklich knapp, und liegen Daten für ein Erholungs-Feintuning vor? Zweimal Ja bedeutet loslegen; wer nur eine hübschere Dateigröße will, sollte das Qualitätsrisiko nicht eingehen.
