Attention parcinelle

Qu’est-ce que l’attention rare ? Pourquoi les questions de contexte long et de coût d’inférence en parlent toujours

L’attention rare peut simplement être comprise ainsi : au lieu que chaque jeton regarde tous les jetons, regardez sélectivement seulement une partie. ...