Le cache KV conserve les résultats intermédiaires qu'un modèle garde pendant la génération de texte. À chaque token produit, le modèle stocke les vecteurs Key et Value associés ; à l'étape suivante, le travail déjà fait est réutilisé au lieu d'être recalculé, et seul le nouveau token est traité. Son nom vient de ces deux ensembles de nombres stockés, et le cache KV est l'un des moyens les plus courants d'accélérer les longues conversations et l'inférence des grands modèles.
Que fait-il vraiment gagner ?
La génération de texte avance pas à pas. Sans cache KV, chaque nouveau token obligerait à recalculer tout ce qui précède, de sorte que les conversations plus longues deviendraient plus lentes à chaque étape. Avec le cache, les résultats antérieurs sont réutilisés et chaque étape ne traite que le nouveau token, si bien que le temps de réponse n'augmente pas brutalement avec la longueur de la conversation. Ce qui est économisé, c'est le calcul répété, pas un gain d'intelligence : la qualité des réponses ne s'améliore pas pour autant.
Il peut aussi manquer de place
Le cache KV utilise la mémoire GPU et grandit avec la longueur de la conversation et la taille du modèle. Dans une très longue conversation, il peut remplir la mémoire disponible et obliger le système à couper les premières parties de l'échange ou à déplacer une partie du cache vers une mémoire plus lente. Les réponses peuvent alors ralentir ou perdre des détails mentionnés au début. Beaucoup de produits limitent la longueur d'une conversation pour exactement cette raison : ce n'est pas que le modèle refuse de se souvenir, mais que tout stocker et tout calculer devient trop coûteux.
Trois malentendus fréquents
Premièrement, le cache KV n'est pas la mémoire du modèle. Fermez la page ou changez d'appareil, et le cache disparaît ; le modèle n'a rien « appris » sur vous pour autant. Deuxièmement, ce n'est pas la même chose qu'une fonction de mémoire à long terme. La mémoire proposée par un produit est généralement un résumé ou une note stockée séparément, ce qui diffère du cache utilisé pendant l'inférence. Troisièmement, un taux élevé de succès du cache ne signifie pas que la réponse est correcte. La mise en cache garantit seulement un calcul plus rapide ; la justesse de la réponse dépend de l'entraînement et de l'entrée.
Comprendre le cache KV aide à interpréter les comportements quotidiens : une conversation qui ralentit en s'allongeant paie généralement plus en cache et en calcul, et une nouvelle conversation semble rapide à nouveau en grande partie parce que le cache a été vidé et relancé. Dans ce cas, commencer une nouvelle conversation et reformuler les informations essentielles est généralement plus rapide que de reposer sans cesse les mêmes questions dans l'ancienne.
