Ein KV-Cache-Fehler bei Cloudflare wurde am 26. Oktober 2026 öffentlich offengelegt: Cloudflare und das Team hinter der Open-Source-Inferenz-Engine SGLang veröffentlichten eine gemeinsame Darstellung, in der ein Isolationsfehler im Cache zwischen Anfragen bestätigt wird, durch den Inhalte anderer Nutzeranfragen in manche Antworten gelangten. Es handelte sich nicht um einen externen Angriff, sondern um einen Isolationsfehler, der durch einen Konfigurationsfehler in Verbindung mit einem Engine-Fehler sichtbar wurde. Das betroffene Modell wurde korrigiert, und SGLang hat gepatchte Versionen veröffentlicht.
Der unmittelbare Auslöser war eine Diskrepanz zwischen zwei Zahlen. Als Cloudflare Zhipus GLM 5.3 auf Workers AI betrieb, betrug das angegebene Kontextfenster des Modells 1.048.576 Token, doch der KV-Cache-Pool der Prefill-Knoten konnte nur 681.280 Token aufnehmen. Ein überlanger Prompt, der den Pool überschritt, hätte mit einem Fehler abgelehnt werden müssen, und SGLang markierte ihn intern auch als abgelehnt und ersetzte den ursprünglichen Prompt durch einen Ein-Token-Platzhalter. In einer getrennten Prefill- und Decode-Bereitstellung prüften die Aufnahmewarteschlangen jedoch nur, ob eine Anfrage „fertig" war, nicht ob sie „abgelehnt" worden war, sodass die abgelehnte Anfrage wie üblich verarbeitet wurde.
Der Decode-Knoten las Restdaten früherer Anfragen
Der Prefill-Knoten erzeugte KV-Cache nur für den Platzhalter-Token und meldete dann „Übertragung abgeschlossen", während der Decode-Knoten einen vollständigen Satz von Cache-Seiten für die ursprüngliche Promptlänge reserviert hatte. Nur die erste Seite war von der aktuellen Anfrage geschrieben worden; die übrigen Seiten enthielten noch Reste früherer Anfragen. Der Decode-Knoten generierte über diese Seiten weiter, und die zurückgegebene Antwort wirkte stimmig und trug den Statuscode 200, enthielt aber Daten aus den Sitzungen anderer Nutzer. Cloudflare weist darauf hin, dass Cache-Seiten zwischen Anfragen ohnehin nicht genullt werden; die Engine soll genau verfolgen, wem jede Seite gehört, und diese Verfolgung brach auf dem Ablehnungspfad ab.
Nur GLM 5.3 war betroffen; Betreiber sollten zuerst den Cache-Pool prüfen
Nach Angaben von Cloudflare waren zwischen dem 27. August und dem 9. September 2026 insgesamt 155 Antworten betroffen, alle für Prompts mit mehr als 681.280 Token. Der Sicherheitsforscher Gadi Evron meldete das Problem am 8. September über HackerOne. Cloudflare reproduzierte es am nächsten Tag, nahm das Modell innerhalb von 40 Minuten nach Ausrufung eines Sicherheitsvorfalls offline und stellte den Dienst noch am selben Tag nach einer Konfigurationskorrektur und einem Engine-Patch wieder her. Es gab keine Hinweise auf eine vorsätzliche Ausnutzung des Fehlers. Cloudflare hat den Prefill-Cache-Pool auf etwa 2,04 Millionen Token erweitert und empfiehlt allen Betreibern, die SGLang einsetzen, ein Update auf v0.5.22 oder höher, sowie vor der Bereitstellung die Cache-Pool-Größe der laufenden Engine mit der Kontextlänge des Modells abzugleichen, statt sich auf eine 200-Antwort der API zu verlassen.
