Skalierungsgesetze beschreiben eine Reihe empirischer Regelmäßigkeiten: Wenn Modelle größer werden, verändert sich ihre Leistung vorhersagbar mit der Zahl der Parameter, der Menge der Trainingsdaten und der eingesetzten Rechenleistung. Sie sind keine Formel, die bessere Ergebnisse garantiert. Sie stammen aus der Auswertung vieler Trainingsexperimente: Mehr Aufwand senkt den Verlust in der Regel, doch der zusätzliche Nutzen wird immer kleiner.
Was die Idee eigentlich aussagt
Skalierungsgesetze werden oft als Potenzgesetze formuliert: Steigen Parameterzahl, Datenmenge oder Rechenaufwand, sinkt der Verlust eines Sprachmodells tendenziell entlang eines vorhersagbaren Trends. Sie beschreiben die durchschnittliche Beziehung zwischen Aufwand und Ergebnis, nicht das Versprechen, dass eine bestimmte Aufgabe besser wird; je nach Aufgabe und Daten fallen die Gewinne unterschiedlich aus. Forschende finden diese Muster, indem sie Modelle in mehreren Größen trainieren, den Verlust aufzeichnen und Kurven anpassen. Die Schlussfolgerungen hängen daher von den Versuchsbedingungen ab und lassen sich nicht ohne diese Bedingungen übertragen.
Parameter, Daten und Rechenleistung begrenzen einander
Parameter bestimmen die Kapazität, Daten bestimmen, wie viel Information gelernt werden kann, und Rechenleistung bestimmt, wie gründlich ein Modell in begrenzter Zeit trainiert werden kann. Die Lehre der Chinchilla-Studie lautet: Bei festem Rechenbudget ist ein sehr großes Modell mit zu wenigen Daten nicht unbedingt besser als ein mittelgroßes, gründlicher trainiertes Modell; eine unausgewogene Mischung verschwendet Rechenleistung. Wer nur Parameter ohne Daten hinzufügt oder nur Daten ohne genügend Rechenleistung, mindert den Ertrag des Aufwands.
Die Grenzen zeigen sich an drei Stellen
Erstens bei der Datenqualität: Mehr doppelte oder minderwertige Daten bringen selten einen proportionalen Gewinn, und Bereinigung sowie Deduplizierung sind oft wertvoller als bloßes Hinzufügen von Volumen. Zweitens bei den Inferenzkosten: Ein größeres Modell kostet bei jeder Antwort mehr, sodass eine im Training effizient wirkende Größe im Betrieb unter Berücksichtigung von Latenz und Betriebsaufwand nicht effizient sein muss. Drittens bei der Obergrenze der Aufgabe selbst: Wenn ein Benchmark nahezu gesättigt ist oder der Engpass im Wissen, in der Werkzeugnutzung oder in der Bewertung statt in der Sprachmodellierung liegt, bringen weitere Vergrößerungen schwächere Gewinne.
Nicht mit Testzeit-Skalierung verwechseln
Skalierung zur Trainingszeit betrifft den Aufwand während des Trainings, Skalierung zur Testzeit dagegen den zusätzlichen Rechenaufwand bei der Inferenz, etwa durch längeres Schlussfolgern, das Erzeugen mehrerer Antworten mit anschließender Auswahl oder die Überprüfung mit Werkzeugen. Testzeit-Skalierung kann manche Aufgaben ohne erneutes Training verbessern, ist aber durch Kosten, Latenz und sich summierende Fehler begrenzt und kann Wissen, das in den Trainingsdaten fehlte, nicht ersetzen. Beide Ansätze können sich ergänzen, aber keiner ersetzt den anderen.
Drei verbreitete Missverständnisse
Größer ist nicht automatisch besser, weil Daten, Balance und Bewertung die Schlussfolgerung verändern; ein sinkender Verlust bedeutet keinen Leistungssprung, da einzelne Schlussfolgerungs- und Faktenfähigkeiten nicht im gleichen Tempo wachsen müssen; und die Gesetze gelten nicht überall, da eine andere Architektur oder ein anderer Datentyp eine alte Balance ungültig machen kann. Wer eine Größenangabe sieht, sollte zuerst nach Daten, Rechenleistung und Bewertungsbedingungen fragen und erst dann beurteilen, ob die Behauptung glaubwürdig ist.
