Spekulatives Dekodieren (Speculative Decoding) beschleunigt die Textgenerierung großer Sprachmodelle: Ein deutlich kleineres Entwurfsmodell rät zunächst die nächsten Tokens, das große Modell prüft diese Vorschläge anschließend in einem einzigen parallelen Durchlauf. Richtige Vorschläge bleiben, der erste Fehler wird korrigiert. Geändert werden Reihenfolge und Rechenverteilung, nicht das große Modell selbst. In der Standardumsetzung entspricht die Ausgabeverteilung daher exakt der tokenweisen Generierung des großen Modells — schneller, aber ohne Qualitätsverlust.
Warum die Generierung Token für Token langsam ist
Für jedes einzelne Token läuft das gesamte Modell einmal komplett durch. Der eigentliche Zeitfresser ist dabei oft nicht die Rechnung, sondern das Einlesen der riesigen Parameter aus dem Speicher. Die Hardware wartet die meiste Zeit auf Daten. Wer pro Ladevorgang nur ein Token prüft, verschwendet genau hier die Zeit.
Wer rät — und wer prüft
Das Verfahren hat zwei Schritte. Zuerst schreibt das Entwurfsmodell, oft nur ein Bruchteil der Größe des Zielmodells, in einem Zug etwa vier bis acht Kandidaten-Tokens. Dann rechnet das große Modell diese Kandidaten samt Kontext parallel durch und vergleicht jeden mit seiner eigenen Wahrscheinlichkeitsverteilung. Treffer werden alle übernommen. An der ersten falschen Position zieht das große Modell selbst ein neues Token, der Rest der Kandidaten wird verworfen, und die nächste Runde beginnt dort. Weil die Prüfung in einem parallelen Durchlauf geschieht, validiert ein einziger Ladevorgang der Parameter gleich mehrere Tokens.
Wie groß der Gewinn ausfällt, hängt von der Trefferquote des Entwurfsmodells ab. Vorhersehbarer Text — Code-Vervollständigung, Antworten in festem Format, eng am Kontext bleibende Fortsetzungen — wird häufig angenommen und oft zwei- bis dreimal schneller erzeugt. Unberechenbarer Text wird öfter verworfen, der Vorteil schrumpft.
Nicht dasselbe wie Quantisierung oder Destillation
Zwei andere Beschleunigungsverfahren werden gern damit verwechselt. Bei der Quantisierung werden Parameter in geringerer Präzision gespeichert: Das Modell wird kleiner, die Ausgabequalität verändert sich leicht. Bei der Destillation lernt ein kleines Modell vom großen — eingesetzt wird danach der Schüler selbst, inklusive seiner niedrigeren Leistungsgrenze. Beim spekulativen Dekodieren entwirft das kleine Modell nur; jede endgültige Entscheidung trifft das große Modell. Deshalb ist die Beschleunigung verlustfrei. Der Preis: Zwei Modelle laufen gleichzeitig, das kostet Speicher und Pflegeaufwand für ihre Abstimmung.
Wann es wenig bringt
Weicht das Entwurfsmodell stilistisch stark vom Zielmodell ab, sinkt die Annahmequote gegen null — in der Praxis nimmt man deshalb ein kleineres Modell derselben Familie oder einen eigens trainierten Entwurfskopf. Auch bei hoher Gleichzeitigkeit hilft das Verfahren weniger: Greifen viele Nutzer parallel zu, ist die Rechenleistung selbst der Engpass, nicht mehr das Laden der Parameter. Es spielt seine Stärke vor allem bei einzelnen oder wenigen gleichzeitigen Nutzern aus. Und die Wartezeit bis zum allerersten Token verkürzt es nicht — schneller wird alles danach.
Die Entwurfsmodell- und Speculative-Sampling-Optionen in lokalen Deployment-Tools sowie die entsprechenden Schalter in Serving-Frameworks wie vLLM beruhen alle auf diesem Raten-und-Prüfen-Prinzip. Beim Abstimmen gilt eine Regel: Entwurfsmodell aus derselben Familie wie das Hauptmodell wählen, die Ratelänge nicht übertreiben — die Annahmequote zählt mehr als die Schrittlänge.
