基础知识

Transformer 是什么？为什么大模型几乎都建立在它上面

Transformer 是一种神经网络架构。它之所以重要，不是因为名字响，而是因为它把“并行处理”和“上下文建模”这两件事做得很好。今天你看到的大多数大语言模型，本质上都离不开它或它的变体。 在 Transformer 之前，很多模型更依赖循环结构，一步一步读文本，速度慢，长距离依赖也容易掉链子。T...