Priming ist ein Verfahren zum Umbau von Modellarchitekturen, das ein Team von Amazon Web Services am 12. Oktober 2026 im offiziellen Amazon-Science-Blog vorgestellt hat; die zugehörige Arbeit erschien am selben Tag. Das Problem ist konkret: Wer eine neue Hybridarchitektur testen wollte, musste ein Modell von Grund auf vortrainieren – mit Billionen von Tokens und Hunderttausenden GPU-Stunden. Mit Priming dienen die Gewichte eines bereits trainierten Transformers als Ausgangspunkt, ein Teil seiner Aufmerksamkeitsschichten wird durch Zustandsraumschichten ersetzt, und die Kosten des Vortrainings sinken um mehr als 99 %. Die gesamte Pipeline verbraucht weniger als 0,5 % des Token-Budgets, mit dem das Ausgangsmodell vortrainiert wurde.
Die Speichersteuer des Transformers: Jede Schicht merkt sich alles
Die Aufmerksamkeit eines Transformers gleicht wörtlichen Notizen: Jedes neue Token blickt auf alle früheren zurück, und der Cache wächst linear mit der Kontextlänge – im Papier eidetic memory, also wörtliches Gedächtnis, genannt. Doch nicht jede Schicht betreibt Fernabruf. Manche verfolgen nur nahe Wörter und lokale Struktur; für sie genügt eine Zusammenfassung fester Größe, ein fading memory. Hybridarchitekturen setzen genau auf diese Arbeitsteilung: Aufmerksamkeit bleibt, wo globale Erinnerung nötig ist, Zustandsraumschichten verdichten die Historie andernorts in einen Zustand fester Größe. Schwer war nie die Idee, sondern ihre Prüfung: Jede neue Mischung und jede neue Zustandsraumschicht verlangte ein komplettes Neutraining, das sich kaum jemand leisten konnte.
Umbau in drei Schritten: Schichten wählen, angleichen, gemeinsam anpassen
Priming läuft in drei Stufen. Zuerst die Schichtauswahl: Jede Schicht wird vorübergehend durch Gleitfenster-Aufmerksamkeit ersetzt; Schichten, deren Leistung dabei am wenigsten einbricht, arbeiten offenbar lokal und sind die ersten Umbaukandidaten. Danach Gewichtsübertragung und Angleichung: Die Query-, Key- und Value-Projektionen der ursprünglichen Aufmerksamkeitsschicht initialisieren die Zustandsraumschicht, anschließend lehrt eine kurze Destillation die neue Schicht, das Verhalten ihrer Vorgängerin nachzuahmen. Zuletzt die Anpassung des Gesamtmodells: Das Hybridmodell wird per Vorhersage des nächsten Tokens feinjustiert, damit alte und neue Schichten zusammenarbeiten. Nach Angaben des Teams funktioniert das Verfahren über Transformer-Familien wie Qwen, Llama und Mistral hinweg, für dichte Modelle wie für Mixture-of-Experts, und von acht Milliarden bis über 32 Milliarden Parameter.
Drei Zustandsraumschichten im kontrollierten Vergleich
Bei gleichen Daten, gleichem Budget und gleicher Hybridquote war die Rangfolge stabil: Gated KalmaNet (GKA) vorn, dahinter Gated DeltaNet, am Ende Mamba-2 – und der Abstand wächst mit der Kontextlänge. Ein GKA-Hybrid mit 32 Milliarden Parametern lag bei Reasoning-Benchmarks praktisch gleichauf mit seinem Ausgangs-Transformer (Genauigkeitsdifferenz unter 1 %), halbierte den KV-Cache bei der Inferenz, dekodierte bei 128K Kontext bis zu 2,06-mal schneller und erreichte Zielgenauigkeiten in bis zu einem Drittel weniger Zeit. Kontraintuitiv fiel ein weiterer Befund aus: Jede Zustandsraum-Variante schlug ihr Gleitfenster-Gegenstück, selbst wenn dieses das Zwei- bis Vierfache an Speicherbudget erhielt. GKA besitzt zudem eine Stellschraube, die den anderen fehlt: Die Iterationszahl lässt sich zur Laufzeit regeln. Von 30 auf 10 Iterationen zu gehen kostet bei AIME 2025 rund 1 % Genauigkeit, dekodiert aber 10 % schneller – ein einziges Modell kann so mehrere Latenzstufen bedienen.
Offene Modellfamilie, und die eigentliche Wirkung liegt in den Kosten der Architektursuche
AWS veröffentlichte zugleich eine Sammlung geprimter Hybridmodelle mit acht und 32 Milliarden Parametern für langes Kontext-Reasoning und Befehlsbefolgung, samt Trainingscode, optimierten Kernen und einem vLLM-Serving-Plugin, alles unter der Apache-2.0-Lizenz. Die Bedeutung von Priming liegt weniger in einem weiteren Hybriddesign als darin, was Architekturexploration jetzt kostet: Sinkt der Preis des Ausprobierens vom vollen Vortraining auf ein Feinjustierungsbudget, lassen sich Fragen wie welche Schichten ersetzbar sind, wie viele und durch welche Zustandsraumschicht erstmals systematisch in großem Maßstab beantworten. Für kostenempfindliche Betreiber ist der Nutzen greifbar, denn ein kleinerer KV-Cache bedeutet direkt mehr parallele lange Sitzungen pro Beschleuniger. Die Einschränkung ist ebenso klar: Sämtliche Belege stammen bislang aus AWS' eigener Arbeit und eigenen Experimenten, die Ausgangsmodelle sind vor allem Qwen3, und Wirkungen bei anderen Familien sowie kleineren Modellen warten noch auf fremde Reproduktion.
