Attention

注意力机制是什么？AI 是怎么“盯住重点”的

注意力机制，简单说就是让模型在处理信息时学会“看重点”。人读一段话时不会平均看每个字，模型也一样：它会根据当前任务，给不同词或片段分配不同权重。权重高的内容更容易影响结果，权重低的内容就像背景噪音。 这也是为什么注意力机制一出现，大模型的效果就明显变了。以前的模型更像按顺序硬读，读到后面经常忘前面；...