KV Cache 是什么？为什么一聊大模型推理加速和长对话成本，就总会提到它
KV Cache 是 Transformer 推理阶段里非常关键的一层缓存机制。简单说，它会把模型已经算过的一部分 Key 和 Value 先存起来，后面继续生成时直接复用，而不是每次都从头重算。也正因为这样，只要一谈到长对话、长上下文和推理速度，KV Cache 几乎一定会出现。 它为什么能加速 ...
AI百科 • Admin •
76
Transformer
找到 4 篇相关文章
Diffusion LLM 是什么？为什么它总被拿来挑战 Transformer 的自回归路线
Diffusion LLM 可以理解成把“扩散模型”的一些核心思路搬到语言模型里，用逐步去噪、逐步修正的方式生成文本，而不是像传统自回归模型那样一个 token 一个 token 往后写。它最近常被提起，不是因为已经全面取代 Transformer 路线，而是因为行业一直在找别的文本生成范式，看看能...
AI百科 • Admin •
95
Transformer 是什么？为什么大模型几乎都建立在它上面
Transformer 是一种神经网络架构。它之所以重要，不是因为名字响，而是因为它把“并行处理”和“上下文建模”这两件事做得很好。今天你看到的大多数大语言模型，本质上都离不开它或它的变体。 在 Transformer 之前，很多模型更依赖循环结构，一步一步读文本，速度慢，长距离依赖也容易掉链子。T...
AI百科 • Admin •
93
注意力机制是什么？AI 是怎么“盯住重点”的
注意力机制，简单说就是让模型在处理信息时学会“看重点”。人读一段话时不会平均看每个字，模型也一样：它会根据当前任务，给不同词或片段分配不同权重。权重高的内容更容易影响结果，权重低的内容就像背景噪音。 这也是为什么注意力机制一出现，大模型的效果就明显变了。以前的模型更像按顺序硬读，读到后面经常忘前面；...
AI百科 • Admin •
70