Inferenz des großen Modells

Was ist KV Cache? Warum wird immer erwähnt, wenn es um Beschleunigung des Denkens bei großen Modellen und die Kosten langer Dialoge geht?

KV Cache ist eine sehr wichtige Schicht des Caching-Mechanismus in der Inferenzphase von Transformers. Einfach ausgedrückt: Es speichert einige der Sc...