Modellkomprimierung und Quantisierung
Die Wege zu kleineren, schnelleren Modellen: wie Destillation Fähigkeiten in ein kleineres Netz überträgt, was Quantisierung mit niedriger Präzision wirklich einbringt und wo kleine Sprachmodelle an Grenzen stoßen.
Ein Modell auf ein Smartphone oder eine Einsteiger-GPU zu bringen läuft auf drei Wege hinaus: Destillation, bei der ein kleines Netz ein großes imitiert; Quantisierung, die Gewichte auf vier oder acht Bit senkt; und Pruning, das Verbindungen mit geringem Beitrag entfernt. Man tauscht Speicher, Latenz und Energie gegen Genauigkeit, und der Verlust ist ungleichmäßig - lange Generierung und Mathematik leiden zuerst. Dieser Tag behandelt Einsatzbedingungen und Prüfung vor dem Einsatz.
