La perplexité est un nombre qui mesure à quel point un modèle de langue hésite sur le mot suivant. Quand le modèle prolonge une phrase, plus le mot réellement apparu le surprend, plus la perplexité monte ; plus ce mot lui semble évident, plus elle baisse. Les éditeurs aiment l'afficher dans leurs fiches techniques parce qu'elle a l'air précise, mais ce n'est pas un bulletin d'intelligence. Elle répond à une question très étroite, et connaître ses limites compte plus que le chiffre lui-même.
Le calcul, en intuition seulement
À chaque mot, le modèle distribue des probabilités entre les candidats de son vocabulaire. S'il est sûr de lui, il concentre de fortes probabilités sur quelques options. Le test consiste à lui donner un texte absent de son entraînement et à regarder la probabilité accordée aux mots réellement apparus. Si les vrais mots reçoivent constamment de fortes probabilités, le modèle connaît bien ce type de texte et la perplexité est basse. C'est une autre vue de l'entropie croisée utilisée à l'entraînement ; nul besoin de formule. Retenez l'image : la perplexité dit entre combien d'options également plausibles le modèle semble hésiter à chaque pas.
Une condition passe souvent inaperçue : la perplexité n'a de sens que sur un texte de test fixe. Roman et code sont deux examens différents, et un texte régulier et répétitif donne naturellement de plus beaux chiffres.
Ce qu'un score bas dit, et ne dit pas
Il dit que le modèle épouse bien les régularités linguistiques de ce type de texte et prolonge les tournures courantes de façon stable. Comparée entre versions d'un même modèle, une baisse témoigne d'un apprentissage réel du corpus.
Il ne dit rien sur la qualité des réponses. La perplexité ne teste ni le raisonnement, ni l'exactitude factuelle, ni la propension à inventer avec aplomb. Une prose parfaitement fluide et statistiquement plausible peut être entièrement fausse. Elle ne garantit pas non plus l'utilité : un modèle brillant dans les formules toutes faites peut afficher un beau score et échouer dès qu'il faut vérifier, calculer ou juger.
Ni exactitude ni scores de référence
L'exactitude compte les bonnes et mauvaises réponses là où une clé existe. Les bancs d'essai mesurent des tâches concrètes : mathématiques, code, connaissances. La perplexité ne mesure que la surprise au niveau de la langue. Un élève qui récite son manuel avec aisance et le même élève qui réussit son examen : les deux sont liés, sans se remplacer. Pour choisir un modèle, les trois types de mesures se regardent côte à côte.
Trois malentendus fréquents
Premier : plus la perplexité est basse, plus le modèle est intelligent. Cela ne vaut que pour le type de texte testé ; changez de domaine, le chiffre change.
Deuxième : les perplexités de modèles différents se compareraient directement. C'est le piège. Tokenisation, textes de test et longueurs de contexte différents ruinent la comparaison. Un 8 contre un 12 peut simplement refléter deux examens différents.
Troisième : une perplexité basse rendrait les réponses fiables. La fluidité n'est pas la justesse. Un modèle peut servir une erreur très répandue avec une perplexité très basse, précisément parce qu'elle abonde dans ses données.
Comment lire les chiffres publiés
Posez trois questions : sur quel texte la mesure a-t-elle été faite, face à qui, et dans des conditions identiques ? Une baisse n'a de valeur que lorsqu'un éditeur compare sa génération précédente sur le même jeu de test. Les classements entre éditeurs méritent la méfiance ; regardez plutôt les performances sur des tâches réelles. Pour la plupart des gens, la perplexité est une pièce d'appui sur la qualité d'entraînement, pas un critère d'achat. La réponse qu'il vous faut viendra de vos propres questions posées au modèle.
