ToolNavs KI-Tools entdecken
Tool einreichen Anmelden
Zurück zu KI-Informationen
Thinking Machines Lab veröffentlicht End-to-End-4-Bit-Training: Pretraining 8 % schneller, RL 20 % schneller

Thinking Machines Lab veröffentlicht End-to-End-4-Bit-Training: Pretraining 8 % schneller, RL 20 % schneller

KI-Informationen • Admin • • 23 Aufrufe

Thinking Machines Lab hat am 13. November in seinem offiziellen Blog ein Rezept für End-to-End-4-Bit-Training veröffentlicht: Mit NVFP4 auf NVIDIA-GB300-Hardware läuft die gesamte Pipeline vom Pretraining bis zum Reinforcement Learning durch – 8 % schneller im Pretraining, 20 % schneller im RL, bei nur etwa 2 % Verlust an Recheneffizienz. Entscheidend ist das Wort „Ende-zu-Ende": Statt in hoher Präzision zu trainieren und die Gewichte hinterher zu quantisieren, wird das Modell vom ersten Tag an für 4 Bit ausgelegt. Das 594-Milliarden-Parameter-Modell Inkling 2 Small ist das größte bekannte Modell, das auf diese Weise vollständig trainiert wurde.

Wie NVFP4 auf dem GB300 läuft

Das Rezept mischt drei Genauigkeiten. Im Vorwärtspass laufen die MoE-Expertenschichten in NVFP4 mit durchschnittlich 4,5 Bit pro Wert und erreichen auf dem GB300 15 PFLOPS – das Dreifache von MXFP8 und das Sechsfache von BF16. Der Rückwärtspass nutzt MXFP8 mit stochastischer Rundung, um Gradientenverzerrungen zu begrenzen, und die letzten 16,6 % der Schichten bleiben in MXFP8 statt auf 4 Bit zu fallen. Auch die Kommunikation zwischen den MoE-Schichten wird komprimiert und per zufälliger Hadamard-Transformation in das S2F6-Format gebracht. Laut Thinking Machines Lab braucht das Rezept bei den größten Jobs keine Parameteranpassung und funktioniert vom überwachten Fine-Tuning bis zum Reinforcement Learning durchgehend.

Was die Beschleunigung kostet

Der Preis liegt bei rund 2 % Recheneffizienz: Das Modell braucht etwas mehr Rechenleistung für denselben Verlustwert, ohne spürbare Auswirkungen auf die Belohnungsmetrik. Doch alle Zahlen stammen vom Labor selbst: Weder Code noch Konfiguration sind veröffentlicht, und eine unabhängige Reproduktion gibt es noch nicht. Auch der Nutzerkreis ist eng – das Rezept ist an Blackwell-Chips der GB300-Klasse gebunden, sodass nur Labore mit großen Clustern es einsetzen können; normale Entwickler und Consumer-GPUs fallen heraus.

Zwei Dinge zählen als Nächstes: ob Thinking Machines Lab Trainingscode und Konfiguration veröffentlicht, und ob ein anderes Labor ähnliche Beschleunigungen auf dem GB300 reproduziert. Gelingt die Reproduktion, wird 4-Bit-Training vom Handwerk eines einzelnen Labors zum Industriestandard, und die Trainingsrechnungen für Frontier-Modelle werden neu aufgestellt; scheitert sie, bleibt es ein gut geschriebener Blogbeitrag.

Empfohlene Tools

Mehr