位置编码

聚焦位置编码如何让模型分辨词序：从正弦编码、可学习编码到 RoPE 旋转编码，帮读者弄清长上下文外推为什么总绕不开它。

位置编码给句子里的每个词额外标上顺序信息，补上自注意力本身不分先后的短板。从早期 Transformer 的正弦编码，到如今主流大模型普遍采用的 RoPE 旋转编码，不同方案直接影响模型能读多长、读远了还认不认得清。弄清这条线，很多长上下文宣传数字背后的取舍就看得懂了。

位置编码是什么？模型读句子时，为什么要先给每个词排座位

位置编码是给句子里每个词额外附上的一组顺序信号，让模型知道哪个词在前、哪个词在后。注意力机制会把所有词两两比较，却天生不分先后：没有位置信息，「狗咬人」和「人咬狗」在它眼里就是同一堆词。位置编码补的正是这个缺口。为什么注意力机制看不见顺序注意力算的是任意两个词之间的相关程度，和词站在哪里无关，把...

Admin 2026/10/13