La distillation des connaissances (Knowledge Distillation) est une technique qui transfère le « savoir obscur » d'un grand modèle vers un petit : un volumineux modèle enseignant génère d'abord des sorties de référence, puis un modèle élève bien plus petit apprend à partir de ces sorties, pour aboutir à un modèle à la fois compact et utilisable.
Ce que l'enseignant transmet vraiment : le savoir obscur des étiquettes souples
L'entraînement ordinaire dit seulement au modèle « la bonne réponse est A », tandis qu'un modèle enseignant transmet à l'élève bien plus qu'une réponse : il joint aussi un « relevé complet de ses hésitations », c'est-à-dire ses scores de probabilité pour chaque option. Cette distribution de probabilités s'appelle une étiquette souple (soft label) et porte implicitement des connaissances structurelles comme « un chat ressemble davantage à un tigre qu'à une table ». En imitant cette distribution, le modèle élève n'apprend pas une réponse unique, mais la manière de juger de l'enseignant. Le savoir obscur, c'est précisément ce type d'information — jamais écrite dans les étiquettes d'entraînement, mais cachée dans les probabilités du modèle.
La température : régler la finesse des explications de l'enseignant
En distillation, on utilise couramment un paramètre de température pour ajuster la douceur des étiquettes souples. Plus la température est élevée, plus la distribution de probabilités est plate, et plus l'élève distingue clairement les nuances de l'enseignant entre les options ; plus elle est basse, plus la distribution est pointue, proche des étiquettes dures ordinaires. Régler la température, c'est contrôler « avec quelle finesse l'enseignant explique » : trop grossier, et l'élève rate la structure ; trop fin, et du bruit s'introduit. En pratique, la température est un hyperparamètre trouvé par essais — il n'existe pas de valeur universellement correcte.
La fonction de perte : l'élève suit deux cours à la fois
L'objectif d'entraînement d'un modèle élève comporte généralement deux volets : s'aligner sur les étiquettes souples en imitant la distribution de probabilités de l'enseignant, et s'aligner sur les vraies étiquettes pour garantir une correction de base, les deux étant équilibrés par un coefficient de pondération. En n'écoutant que l'enseignant, l'élève recopie aussi ses erreurs ; en ne regardant que les étiquettes dures, il n'apprend jamais le savoir obscur. Les approches avancées alignent en outre les représentations des couches intermédiaires, pour que l'élève apprenne non seulement les conclusions, mais aussi le raisonnement.
L'effet de plafond : l'élève dépasse rarement son enseignant
La distillation a une frontière dure : le plafond de capacité de l'élève est presque toujours verrouillé par le modèle enseignant. Là où l'enseignant se trompe, l'élève suivra très probablement ; le processus d'imitation peut aussi faire perdre une partie des capacités de l'enseignant. La distillation est par essence un « héritage avec pertes », pas un « élève qui surpasse le maître ». Attendre d'un modèle de quelques milliards de paramètres qu'il dépasse, grâce à la distillation, un enseignant de plusieurs dizaines de milliards en capacité globale ne correspond pas à l'expérience réelle.
Deux idées reçues fréquentes
Premièrement, « la distillation n'est que compression et copie ». La compression n'est que le résultat ; le cœur de la distillation est le transfert de connaissances : l'enseignant transmet le savoir structurel contenu dans ses distributions de probabilités, et l'élève apprend une nouvelle manière de décider. Deuxièmement, « après distillation, le petit modèle est aussi fort que le grand ». La distillation vise le « suffisamment bon » : dans des environnements à ressources limitées comme les téléphones et les appareils en périphérie, obtenir avec la plus petite taille des performances proches de l'enseignant, plutôt que de répliquer tout ce qu'il sait faire.
