Prompt Caching ist ein Sparmechanismus in den APIs großer Sprachmodelle: Taucht derselbe Anfangsblock in einem Gespräch oder in gleichartigen Anfragen immer wieder auf, berechnet der Anbieter ihn einmal, speichert das Ergebnis und nutzt es erneut, sobald die nächste Anfrage exakt gleich beginnt. Gespart werden Eingabe-Token und die Wartezeit bis zum ersten Wort.
Gespeichert wird ein Zwischenstand, keine Antwort
Bevor ein Modell antwortet, muss es den gesamten übermittelten Text Schicht für Schicht verarbeiten. Dieser Schritt heißt Prefill und wird mit der Textlänge teurer und langsamer. Prompt Caching speichert genau diesen Zwischenstand, oft KV-Zustand genannt. Bei einem Treffer überspringt das Modell die Wiederholung, verarbeitet nur den neuen Teil und erzeugt die Antwort dann wie gewohnt Wort für Wort. Eine alte Antwort wird nie abgespielt: Dasselbe zwischengespeicherte Dokument liefert zu einer anderen Frage eine frische Antwort.
Drei Bedingungen müssen gleichzeitig gelten
Erstens muss der Anfang vom ersten Token an exakt übereinstimmen. Systemanweisungen, Werkzeugdefinitionen und feste Dokumente stehen vorn und treffen am leichtesten; dynamische Inhalte weit vorn blockieren jeden Treffer dahinter. Zweitens muss der Block lang genug sein: Die Anbieter setzen eine Untergrenze von grob tausend Token, wenige kurze Sätze lösen nichts aus. Drittens muss die Wiederverwendung innerhalb der Lebensdauer liegen, meist wenige Minuten, bei jedem Treffer verlängert. Die Details unterscheiden sich: Manche Plattformen verlangen ausdrücklich markierte Cache-Punkte, mit Aufschlag beim Schreiben und starkem Rabatt beim Lesen, andere gleichen den Anfang automatisch ab.
Nicht dasselbe wie die beiden anderen Caches
Semantisches Caching speichert Frage-Antwort-Paare und gibt die alte Antwort zurück, wenn eine neue Frage ähnlich gemeint ist. Prompt Caching gibt keine alten Antworten zurück, es spart nur Rechenarbeit. Auch das Kontextfenster ist etwas anderes: Es beschreibt, wie viel Text das Modell auf einmal sehen kann, also eine Kapazitätsfrage, während es beim Caching darum geht, ob dieser Text neu berechnet wird. Ein riesiges Fenster macht Wiederholungen nicht kostenlos.
Drei verbreitete Irrtümer
Erstens: Ein Wort am Anfang zu ändern sei harmlos. Der Abgleich ist exakt, ab der ersten Abweichung wird alles dahinter neu berechnet. Datum oder Nutzername ganz vorn sind der klassische Weg, die Trefferquote zu ruinieren. Zweitens: Mit Cache sei der Aufruf kostenlos. Der getroffene Eingabeteil wird deutlich billiger, neue Inhalte und jedes erzeugte Token kosten aber weiter den vollen Preis. Drittens: Längere Gespräche sparten automatisch mehr. Sobald Werkzeugergebnisse oder abgerufene Textstücke, die sich jedes Mal ändern, in der Mitte stehen, trifft die hintere Hälfte kaum noch. Praktisch ist die Reihenfolge: Stabiles nach vorn, Veränderliches nach hinten.
Am meisten lohnt es sich für Agenten mit langen Systemanweisungen und Werkzeugdefinitionen, für Wissensdatenbanken, die immer wieder zum selben langen Dokument befragt werden, und für Stapelaufträge mit einem gemeinsamen Anweisungssatz. Wer einmalige Fragen mit kurzen, ständig wechselnden Prompts stellt, wird die Funktion kaum bemerken.
