Priming est une méthode de conversion d'architecture qu'une équipe d'Amazon Web Services a présentée le 12 octobre 2026 sur le blog officiel Amazon Science, l'article scientifique correspondant étant publié le même jour. Le problème visé est concret : tester une nouvelle architecture hybride exigeait jusqu'ici de pré-entraîner un modèle depuis zéro, pour un coût de milliers de milliards de tokens et de centaines de milliers d'heures GPU. Avec le priming, on part des poids d'un Transformer déjà entraîné, on remplace une partie de ses couches d'attention par des couches à espace d'états, et le coût de pré-entraînement chute de plus de 99 % ; l'ensemble du processus consomme moins de 0,5 % du budget de tokens du pré-entraînement d'origine.
La taxe mémoire du Transformer : chaque couche retient tout
L'attention d'un Transformer ressemble à une prise de notes mot pour mot : chaque nouveau token consulte tous les tokens précédents, et le cache croît linéairement avec la longueur du contexte, ce que les auteurs appellent mémoire eidétique. Mais toutes les couches ne font pas de la recherche à longue portée. Certaines ne suivent que les mots voisins et la structure locale ; pour elles, un résumé de taille fixe, une mémoire qui s'estompe, suffit. Les architectures hybrides reposent sur ce partage du travail : l'attention reste là où le rappel global compte, et les couches à espace d'états compressent l'historique dans un état de taille fixe. L'obstacle n'a jamais été l'idée, mais le prix de sa vérification : chaque nouvelle répartition, chaque nouvelle couche à espace d'états exigeait un réentraînement complet que presque personne ne pouvait payer.
Trois étapes : choisir les couches, les aligner, adapter l'ensemble
Le priming se déroule en trois temps. D'abord la sélection des couches : chaque couche est temporairement remplacée par une attention à fenêtre glissante, et celles dont la performance chute le moins sont identifiées comme locales, donc candidates à la conversion. Ensuite le transfert de poids et l'alignement : les projections de requête, de clé et de valeur de la couche d'attention d'origine initialisent la couche à espace d'états, puis une courte distillation apprend à la nouvelle couche à imiter celle qu'elle remplace. Enfin l'adaptation de bout en bout : le modèle hybride complet est affiné sur la prédiction du token suivant, pour que anciennes et nouvelles couches apprennent à coopérer. Selon l'équipe, la méthode fonctionne entre familles de Transformers comme Qwen, Llama et Mistral, sur les modèles denses comme sur les mélanges d'experts, et de huit milliards à plus de 32 milliards de paramètres.
Trois couches à espace d'états dans une course contrôlée
À données, budget et proportion hybride identiques, le classement des trois familles est resté stable : Gated KalmaNet (GKA) en tête, Gated DeltaNet ensuite, Mamba-2 en dernier, l'écart se creusant avec la longueur du contexte. Un hybride GKA de 32 milliards de paramètres égale pratiquement son Transformer d'origine sur les bancs d'essai de raisonnement, à moins de 1 % de précision près, divise par deux le cache KV à l'inférence, décode jusqu'à 2,06 fois plus vite à 128K de contexte et atteint les seuils de précision en deux tiers du temps au mieux. Autre résultat contre-intuitif : chaque hybride à espace d'états a battu son équivalent à fenêtre glissante, même lorsque celui-ci recevait deux à quatre fois plus de mémoire. GKA offre en outre un réglage absent chez les autres : son nombre d'itérations s'ajuste au moment du service. Passer de 30 à 10 itérations coûte environ 1 % de précision sur AIME 2025 mais décode 10 % plus vite, permettant à un seul modèle de servir plusieurs niveaux de latence.
Une collection de modèles ouverte, et un vrai changement : le coût des questions d'architecture
AWS a également publié une collection de modèles hybrides amorcés de huit et 32 milliards de paramètres, pour le raisonnement à long contexte et le suivi d'instructions, avec code d'entraînement, noyaux optimisés et plugin de service vLLM, le tout sous licence Apache 2.0. L'intérêt du priming tient moins à un design hybride de plus qu'au changement du coût de l'exploration architecturale : quand l'essai passe d'un pré-entraînement complet à un budget d'affinage, des questions comme quelles couches remplacer, en quelle proportion et par quelle couche à espace d'états peuvent enfin recevoir des réponses systématiques à grande échelle. Pour les déploiements sensibles aux coûts, le gain est tangible, car un cache KV réduit signifie directement plus de sessions longues simultanées par accélérateur. La limite est tout aussi claire : toutes les preuves viennent pour l'instant de l'article et des expériences d'AWS, les modèles sources sont surtout des Qwen3, et les effets sur d'autres familles ou à plus petite échelle attendent encore une reproduction extérieure.
