L'encodage positionnel est un signal d'ordre supplémentaire attaché à chaque mot d'une phrase, pour que le modèle sache quel jeton vient en premier et lequel suit. L'auto-attention compare bien tous les mots entre eux, mais elle n'a aucun sens inné de l'ordre : sans information de position, « le chien mord l'homme » et « l'homme mord le chien » lui sembleraient le même sac de mots. L'encodage positionnel comble exactement ce manque.
Pourquoi l'auto-attention ne voit pas l'ordre
L'attention calcule un score de similarité pour chaque paire de mots, quelle que soit leur place. Mélangez l'entrée et le calcul s'en aperçoit à peine. Or le langage vit de l'ordre : la position doit donc entrer dans les vecteurs des jetons comme un signal à part entière, avant que le modèle commence à raisonner.
Trois approches classiques
D'abord, l'encodage sinusoïdal de l'article Transformer d'origine : des motifs d'ondes fixes, à différentes fréquences, s'ajoutent au vecteur de chaque jeton. Aucun entraînement requis et extension possible aux textes longs, mais le schéma reste rigide. Ensuite, les positions apprises : chaque emplacement reçoit un vecteur entraîné. Plus souple, mais bloqué à la longueur maximale vue à l'entraînement. Enfin, RoPE, l'encodage rotatif adopté par beaucoup de modèles actuels : il fait tourner une partie du vecteur selon la position, si bien que l'attention perçoit naturellement les distances relatives. RoPE gère mieux les longs contextes et s'est imposé comme standard de fait.
Position absolue et position relative ne se valent pas
L'encodage absolu dit « tu es le mot numéro 7 » ; le relatif dit « tu es trois mots derrière le mot de référence ». Pour le langage, la distance compte souvent plus que le numéro, d'où la préférence moderne pour l'information relative. Cela explique aussi pourquoi les modèles deviennent flous sur des textes bien plus longs que ceux de l'entraînement : ils épuisent les distances familières, pas leur mémoire.
Trois malentendus fréquents
L'encodage positionnel n'est pas de la compréhension : il fournit l'ordre, pas le sens. Ce n'est pas non plus une mémoire : quand un modèle perd un détail du début, l'attention et le budget de contexte sont plus souvent en cause. Et une fenêtre de contexte plus longue ne garantit pas une meilleure lecture au loin : étirer la base de RoPE élargit la portée mais dilue la précision pour les positions proches.
Pour juger si un modèle lit vraiment bien les longs documents, ne regardez donc pas seulement la taille de sa fenêtre, mais sa façon de coder les positions et de résoudre les distances. L'encodage positionnel est le socle discret de cette capacité.
