L'élagage de modèle, c'est la soustraction appliquée à un grand modèle : repérer les poids proches de zéro qui n'influencent presque pas le résultat, les supprimer ou les mettre à zéro, et le modèle devient plus petit et plus rapide en ne perdant qu'un peu de capacité. On le range souvent avec la quantification et la distillation dans la compression de modèles, mais les trois coupent à des endroits complètement différents ; cet article commence donc par l'élagage lui-même.
Ce qui est coupé, concrètement
Le volume d'un réseau de neurones, ce sont les poids, les valeurs de force des connexions entre neurones. Après l'entraînement, leur distribution est très inégale : une minorité de connexions porte l'essentiel du jugement, tandis qu'une longue traîne reste si proche de zéro qu'elle tient du bruit de fond. L'élagage classe les connexions par importance et retire cette traîne.
Deux manières de procéder. L'élagage non structuré met les poids à zéro un par un et laisse un fichier plein de zéros ; il économise l'espace en théorie, mais le matériel ordinaire ne calcule pas plus vite sur des zéros sans prise en charge dédiée du calcul parcimonieux. L'élagage structuré supprime des canaux entiers, des têtes d'attention, voire des couches, et laisse une forme régulière qui accélère directement sur les GPU et puces de téléphone ordinaires. En pratique, la seconde manière domine, exactement pour cette raison.
Pourquoi le modèle survit à la perte de tant de connexions
La clé, c'est la surparamétrisation : pour que l'entraînement réussisse, les modèles reçoivent en général bien plus de paramètres que la tâche n'en exige. Beaucoup de connexions sont redondantes dès le départ, s'annulent mutuellement ou ne s'activent que sur quelques exemples. Les retirer revient à démonter un échafaudage, pas un mur porteur.
L'élagage n'est pourtant pas une coupe unique. Une suppression brutale coûte en général une qualité visible ; la routine standard est donc itérative : couper un peu, récupérer par réglage fin, recouper. L'hypothèse du ticket de loterie décrit un constat voisin : un grand réseau cache un sous-réseau bien plus petit qui, entraîné seul, atteint des performances proches. Le plafond de l'élagage dépend de la redondance disponible ; un modèle déjà entraîné au plus juste n'a presque aucune marge.
Différences avec la quantification et la distillation
| Méthode | Ce qui change | Structure du modèle | Gain typique |
|---|---|---|---|
| Élagage | Supprime des connexions ou des canaux entiers | Plus petit, plus parcimonieux | Moins de paramètres ; en structuré, une vitesse directe |
| Quantification | Abaisse chaque valeur de 16 bits à 8 ou 4 bits | Inchangée | Beaucoup moins de mémoire |
| Distillation | Un petit modèle apprend à imiter un grand | Un nouveau modèle | Un petit modèle autonome |
Les trois se combinent souvent : élaguer d'abord, quantifier ensuite, puis récupérer la qualité par distillation ou réglage fin. Quand un modèle ouvert annonce une variante élaguée, vérifiez si la coupe est structurelle ou si les poids ont juste été mis à zéro ; la première tourne vraiment plus vite, la seconde paraît surtout plus petite.
Trois idées reçues fréquentes
D'abord, l'élagage ne supprime pas de données ; il touche les paramètres internes et n'a rien à voir avec le jeu d'entraînement. Ensuite, élaguer davantage n'est pas toujours gagnant : passé la limite de redondance, la qualité chute brutalement, et ce qui disparaît en premier, ce sont les connaissances de niche et les capacités rares que les tests courants ne mesurent pas. Enfin, la mémoire libérée ne permet pas d'entraîner un plus gros modèle ; l'élagage sert surtout le déploiement en inférence, alors que la mémoire d'entraînement est dominée par les états de l'optimiseur et les activations.
Avant de vous lancer, deux questions : l'appareil cible manque-t-il vraiment de calcul et de mémoire, et disposez-vous de données pour le réglage fin de récupération ? Deux oui, allez-y ; si c'est juste pour une taille de fichier plus flatteuse, le risque sur la qualité n'en vaut pas la peine.
