位置エンコーディング
位置エンコーディングは、Transformer が語順を把握するための仕組みです。正弦波方式、学習方式、RoPE の違いと、長い文脈を扱う力への影響を整理します。
自己注意機構だけでは語順が分からないため、位置エンコーディングが各トークンに順番の情報を足します。初期の正弦波方式から、現在の大規模モデルで主流の RoPE まで、方式の違いは読める長さと遠くの文の鮮明さに直結します。このテーマを追うと、長文脈アピールの裏側が見えてきます。
位置エンコーディングは、Transformer が語順を把握するための仕組みです。正弦波方式、学習方式、RoPE の違いと、長い文脈を扱う力への影響を整理します。
