Encodage positionnel
L'encodage positionnel indique à un Transformer dans quel ordre les mots se succèdent. Ce thème compare les schémas sinusoïdaux, appris et rotatifs comme RoPE, et montre pourquoi les promesses de contexte long reposent souvent sur ce seul mécanisme.
L'auto-attention voit d'abord une phrase comme un sac de jetons : l'encodage positionnel lui apporte le sens de l'ordre qui manque. Les premiers Transformer ajoutaient des motifs sinusoïdaux, beaucoup de modèles actuels font tourner les vecteurs avec RoPE. Ce choix influence la longueur lisible avant que le texte lointain ne devienne flou. Suivre ce thème aide à juger les chiffres de contexte long annoncés par les éditeurs.
