位置エンコーディングは、文中の各単語に付け足される順序の信号で、モデルがどのトークンが先でどれが後かを知るための仕組みです。自己注意は単語同士を比べ合いますが、順序そのものは生まれつき分かりません。位置情報がなければ、「犬が人を噛む」と「人が犬を噛む」は同じ単語の集まりに見えてしまいます。その穴を埋めるのが位置エンコーディングです。
自己注意に順序が見えない理由
注意機構は、単語の位置に関係なくペアごとの似通い度を計算します。入力の並びを入れ替えても計算はほとんど気づきません。しかし言語は順序で意味が決まるため、位置は独立した信号としてトークンのベクトルに入り込む必要があります。
代表的な三つの方式
一つ目は、原論文 Transformer の正弦波方式です。周波数の異なる固定の波形パターンをトークンベクトルに足します。学習不要で長い文にも広げられますが、融通は利きません。二つ目は学習方式で、各位置に学習可能なベクトルを用意します。柔軟な反面、学習時に見た最大長を超えられません。三つ目は RoPE（回転式）で、現在の多くのモデルが採用します。位置に応じてベクトルの一部を回転させるため、注意機構が相対的な距離を自然に捉えられます。長文脈に強く、事実上の標準になりました。
絶対位置と相対位置は別物
絶対方式は「あなたは7番目の単語」と言い、相対方式は「基準の単語から3つ後ろ」と言います。言語では番地より距離が効く場面が多く、現代の方式が相対情報を好むのはそのためです。学習時よりはるかに長い文でモデルの理解がぼやけるのも、記憶が切れたというより、慣れた距離のパターンを使い果たしたからだと説明できます。
よくある三つの誤解
位置エンコーディングは理解そのものではありません。順序を与えるだけで、意味は与えません。記憶装置でもありません。冒頭の細部が落ちるのは、位置方式よりも注意の配分や文脈の予算が原因のことが多いです。そして文脈窓が長いことは、遠くまで正確に読める保証にはなりません。RoPE の基数を引き伸ばす手法は射程を広げますが、近くの位置の解像度は薄まります。
長い文書を本当に読めるモデルか見極めたいなら、窓の大きさだけでなく、位置の符号化と距離の解像度を確かめてください。位置エンコーディングは、その力の静かな土台です。
