Les lois d'échelle décrivent un ensemble de régularités empiriques : lorsque les modèles grandissent, leurs performances évoluent de façon prévisible avec le nombre de paramètres, la quantité de données d'entraînement et la puissance de calcul. Ce n'est pas une formule qui garantit de meilleurs résultats. Elles proviennent de l'ajustement de résultats issus de nombreuses expériences d'entraînement : davantage d'investissement réduit généralement la perte, mais le gain marginal ne cesse de diminuer.
Ce que l'idée dit réellement
Les lois d'échelle sont souvent exprimées sous forme de lois de puissance : quand le nombre de paramètres, la quantité de données ou la puissance de calcul augmente, la perte d'un modèle de langage tend à diminuer selon une tendance prévisible. Elles décrivent la relation moyenne entre l'investissement et le résultat, et non la promesse qu'une tâche particulière s'améliorera ; les gains varient selon la tâche et les données. Les chercheurs découvrent ces relations en entraînant des modèles à plusieurs échelles, en enregistrant la perte et en ajustant des courbes, si bien que les conclusions dépendent du dispositif expérimental et ne peuvent pas être reprises sans leurs conditions.
Paramètres, données et calcul se contraignent mutuellement
Les paramètres fixent la capacité, les données fixent la quantité d'informations pouvant être apprise, et la puissance de calcul fixe le degré d'entraînement possible dans un temps limité. La leçon de l'étude Chinchilla est que, avec un budget de calcul fixe, un très grand modèle entraîné avec trop peu de données n'est pas nécessairement meilleur qu'un modèle de taille modérée entraîné plus à fond ; un dosage déséquilibré gaspille du calcul. Ajouter des paramètres sans données, ou des données sans assez de calcul, peut réduire le retour sur investissement.
Les limites apparaissent à trois endroits
D'abord, la qualité des données : ajouter des données dupliquées ou de faible qualité apporte rarement un gain proportionnel, et le nettoyage comme la déduplication sont souvent plus utiles que le simple ajout de volume. Ensuite, le coût d'inférence : un modèle plus grand coûte plus cher à chaque réponse, de sorte qu'une échelle qui paraît efficace à l'entraînement peut ne pas l'être en production, une fois la latence et la charge d'exploitation prises en compte. Enfin, le plafond de la tâche elle-même : quand un banc d'essai est presque saturé, ou quand le goulot se situe dans les connaissances, l'usage d'outils ou l'évaluation plutôt que dans la modélisation du langage, agrandir encore le modèle apporte des gains plus faibles.
Ne pas confondre avec la mise à l'échelle au moment du test
La mise à l'échelle à l'entraînement concerne l'investissement pendant l'entraînement, tandis que la mise à l'échelle au moment du test concerne le calcul supplémentaire dépensé lors de l'inférence, par exemple un raisonnement plus long, la génération de plusieurs réponses suivie d'une sélection, ou une vérification à l'aide d'outils. Elle peut améliorer certaines tâches sans réentraînement, mais elle reste limitée par le coût, la latence et l'accumulation des erreurs, et ne peut pas fournir des connaissances absentes des données d'entraînement. Les deux approches peuvent se compléter, mais aucune ne remplace l'autre.
Trois malentendus fréquents
Plus grand ne veut pas dire automatiquement meilleur, car les données, l'équilibre et l'évaluation modifient la conclusion ; une perte en baisse n'équivaut pas à un bond de capacité, puisque les aptitudes de raisonnement et les connaissances factuelles ne progressent pas forcément au même rythme ; et ces lois ne s'appliquent pas partout, car une architecture ou un type de données différent peut invalider un ancien équilibre. Face à un chiffre d'échelle, il faut d'abord s'interroger sur les données, la puissance de calcul et les conditions d'évaluation, puis seulement juger si l'affirmation est crédible.
