KV 缓存是模型在生成文字时留下的中间计算结果。模型每算出一个词，都会把与它相关的键（Key）和值（Value）存下来；下一轮生成时，已经算过的部分不用重算，只算新增的词。KV 缓存这个名字就来自这两组被存下来的数字，它是长对话、大模型推理提速最常见的办法之一。
它到底省掉了什么
模型生成文字是一轮接一轮的。没有 KV 缓存时，每生成一个新词，都要把前面所有词重新算一遍，对话越长，每轮越慢。有了 KV 缓存，前面词的计算结果直接复用，每轮只处理新词，响应时间就不会随对话长度直线上升。省的是重复计算，不是模型变聪明了，答案质量本身并不会因此提高。
它也有装不下的时候
KV 缓存占显存，而且随对话长度和模型规模一起变大。对话特别长时，缓存可能占满显存，系统只好截断早期的对话内容，或者把一部分缓存挪到速度更慢的内存里，这时回答可能变慢，也可能忘了对话开头提到的细节。很多产品限制单次对话长度，背后就有这笔账：不是模型不想记住，而是存不下、算不起。
三个常见误解
第一，KV 缓存不是模型的记忆。关掉页面、换一台设备，缓存就没了，模型并不会因此“学会”你的事。第二，它不等于长期记忆功能。产品里说的记忆，往往是另外存下来的摘要或笔记，和推理时的 KV 缓存是两回事。第三，缓存命中率高不代表回答一定对。它只保证算得快，模型本身会不会答错，要看训练和输入，缓存背不了这个锅。
理解 KV 缓存，能帮你判断很多现象：对话变长后变慢，往往是缓存和计算的代价上来了；换一个新对话立刻变快，也多半是因为缓存清零、重新开始。遇到这种情况，先开新对话、把关键信息重新交代一遍，通常比反复追问更省时间。
