Der KV-Cache speichert Zwischenergebnisse, die ein Modell beim Erzeugen von Text behält. Bei jedem erzeugten Token speichert das Modell die zugehörigen Key- und Value-Vektoren; im nächsten Schritt wird bereits Geleistetes wiederverwendet statt neu berechnet, und nur das neue Token wird verarbeitet. Der Name stammt von diesen beiden gespeicherten Zahlengruppen, und der KV-Cache ist eine der häufigsten Methoden, lange Gespräche und die Inferenz großer Modelle zu beschleunigen.
Was genau spart er ein?
Texterzeugung läuft Schritt für Schritt. Ohne KV-Cache müsste bei jedem neuen Token alles Vorherige neu berechnet werden, sodass längere Gespräche mit jedem Schritt langsamer würden. Mit dem Cache werden frühere Ergebnisse wiederverwendet und jeder Schritt verarbeitet nur das neue Token, sodass die Antwortzeit nicht steil mit der Gesprächslänge ansteigt. Eingespart wird wiederholte Berechnung, kein Zugewinn an Intelligenz: Die Antwortqualität verbessert sich dadurch allein nicht.
Er kann auch vollaufen
Der KV-Cache belegt GPU-Speicher und wächst mit der Gesprächslänge und der Modellgröße. In einem sehr langen Gespräch kann er den verfügbaren Speicher füllen und das System zwingen, frühe Gesprächsteile abzuschneiden oder Teile des Caches in langsameren Speicher zu verlagern. Antworten können dann langsamer werden oder Details vom Gesprächsbeginn verlieren. Viele Produkte begrenzen die Länge eines einzelnen Gesprächs genau aus diesem Grund: Nicht, weil das Modell sich nicht erinnern will, sondern weil Speichern und Berechnen zu teuer werden.
Drei häufige Missverständnisse
Erstens ist der KV-Cache nicht das Gedächtnis des Modells. Wird die Seite geschlossen oder das Gerät gewechselt, ist der Cache weg; das Modell hat dadurch nichts über einen "gelernt". Zweitens ist er nicht dasselbe wie eine Langzeitgedächtnisfunktion. Das Gedächtnis, von dem ein Produkt spricht, ist meist eine separat gespeicherte Zusammenfassung oder Notiz und etwas anderes als der Cache während der Inferenz. Drittens bedeutet eine hohe Cache-Trefferquote nicht, dass die Antwort richtig ist. Caching garantiert nur schnelleres Rechnen; ob das Modell richtig antwortet, hängt von Training und Eingabe ab.
Wer den KV-Cache versteht, kann Alltagsphänomene besser einordnen: Ein Gespräch, das mit der Länge langsamer wird, zahlt meist mehr an Cache- und Rechenkosten, und ein frisches Gespräch fühlt sich vor allem deshalb wieder schnell an, weil der Cache geleert und neu gestartet wurde. In so einem Fall ist es meist schneller, ein neues Gespräch zu beginnen und die wichtigsten Informationen erneut mitzuteilen, als im alten Gespräch immer wieder nachzufragen.
