L'effondrement de modèle désigne le phénomène par lequel un modèle entraîné de façon répétée sur des données générées par des modèles précédents voit sa distribution de sortie se rétrécir à chaque génération, jusqu'à perdre des pans rares mais importants du monde réel. Les formulations courantes sont amplifiées, les plus rares disparaissent en premier, et les erreurs se figent comme des réponses correctes.
Comment les queues disparaissent
Les données réelles se concentrent au centre, avec une minorité d'exemples aux marges, les queues de la distribution. Les modèles génératifs préfèrent déjà les contenus à forte probabilité lors de l'échantillonnage, donc les exemples de queue sont moins choisis. En entraînant la génération suivante sur ces sorties, les queues s'amincissent encore. Dans un article publié en 2024 dans Nature, Shumailov et ses collègues ont démontré ce processus expérimentalement : l'entraînement récursif sur des données générées fait disparaître progressivement les queues.
Ni contamination, ni surapprentissage
La contamination concerne des données sales venues de l'extérieur. L'effondrement commence quand la production du modèle lui-même revient dans l'entraînement : les données semblent propres, mais la diversité s'érode à chaque tour. Le surapprentissage, c'est mémoriser un jeu d'entraînement ; l'effondrement modifie la forme de toute la distribution, si bien que même des questions nouvelles obtiennent des réponses plus pauvres.
La version chronique est la plus réaliste
Former une génération entière uniquement avec des données synthétiques reste rare dans les équipes sérieuses. Le risque réaliste est le glissement des proportions : textes et images générés par IA inondent le web, les corpus collectés contiennent silencieusement plus de contenu synthétique, sans étiquetage d'origine ni équilibrage avec des données réelles. Des écritures homogénéisées et des styles d'images convergents en sont des signes précoces.
Malentendus fréquents
Une bonne qualité des données générées n'empêche pas l'effondrement : même si chaque exemple semble correct, le biais d'échantillonnage vers les zones probables érode les queues. Les premiers symptômes ne sont pas du charabia, mais des sorties plus stables, plus lisses, simplement plus monotones. Les vraies défenses : conserver assez de données réelles, étiqueter et doser les données synthétiques, et évaluer délibérément les exemples de longue traîne.
