L'auto-attention est un mécanisme qui permet à un modèle, lorsqu'il traite une phrase, de décider d'abord dans quelle mesure chaque mot doit prêter attention aux autres mots de la phrase, puis de fusionner ces informations. Il ne lit pas mot à mot dans un ordre fixe : tous les mots se notent mutuellement. Plus l'association est forte, plus le poids est grand, et chaque mot finit par obtenir une nouvelle représentation enrichie du contexte dont il a le plus besoin.
Un exemple simple
Dans « Xiaoming a posé les clés sur la table, puis il est sorti », à qui renvoie « il » ? Un lecteur comprend d'un coup d'œil qu'il s'agit de Xiaoming. L'auto-attention fait quelque chose de similaire : quand le modèle traite « il », il attribue un poids plus élevé à « Xiaoming » et des poids plus faibles à « table » et « clés », de sorte que la représentation de « il » contient des informations sur Xiaoming. Ces poids ne sont pas des règles écrites à la main ; le modèle les apprend à partir de grandes quantités de texte pendant l'entraînement.
Ce qui est réellement calculé
Le processus peut se décomposer en trois étapes : transformer chaque mot en vecteur, calculer des scores d'appariement entre les mots, puis agréger les informations des autres mots en les pondérant par ces scores. Les mots à score élevé ont une grande influence, les mots à score faible sont presque ignorés. Le point clé est le parallélisme : tous les mots d'une phrase peuvent accomplir cette étape en même temps, sans attendre que le mot précédent ait fini, ce qui explique en partie son efficacité sur les textes longs et à l'entraînement.
Différences avec la récurrence et la convolution
Une structure récurrente lit une phrase dans l'ordre, si bien que l'information des mots éloignés tend à s'affaiblir au fil de la transmission. Une structure convolutionnelle ne voit à la fois qu'une fenêtre fixe de mots, et les relations hors fenêtre ne peuvent être établies qu'indirectement, en empilant des couches. L'auto-attention n'a pas de fenêtre fixe et ne dépend pas d'une transmission séquentielle, de sorte que des mots éloignés peuvent être reliés directement. Elle n'est toutefois pas toute-puissante : elle a besoin d'informations de position supplémentaires pour connaître l'ordre des mots, sinon « le chat poursuit le chien » et « le chien poursuit le chat » seraient difficiles à distinguer.
Où se situent les limites
L'auto-attention décide seulement quelles informations comptent le plus. Elle ne mémorise pas de faits, ne raisonne pas logiquement et ne garantit pas l'exactitude des sorties. Sa portée visible est aussi limitée par la longueur du contexte : le contenu hors fenêtre ne peut pas participer directement, et le coût de calcul augmente rapidement avec la longueur des phrases, si bien que les textes longs coûtent nettement plus cher que les textes courts. Il est plus juste de la voir comme un filtre d'information que comme une base de connaissances ou un moteur de raisonnement.
Idées fausses courantes
Premièrement, l'auto-attention n'est pas la compréhension elle-même : un poids élevé signifie seulement une forte association statistique apprise par le modèle, pas qu'il saisit vraiment le sens. Deuxièmement, les poids d'attention ne peuvent pas servir directement d'explication : un mot à poids élevé n'est pas nécessairement la seule raison d'une réponse donnée. Troisièmement, l'auto-attention n'est pas l'ensemble du Transformer, qui comprend aussi des réseaux de propagation avant, des encodages positionnels, de la normalisation et d'autres composants ; l'attention seule ne peut pas porter un modèle complet.
