L'apprentissage à peu d'exemples est une façon d'utiliser un grand modèle qui consiste à ne lui montrer qu'une poignée d'exemples pour qu'il accomplisse une nouvelle tâche en suivant leur format et leur niveau d'exigence. Aucun réentraînement n'est nécessaire : il suffit d'inclure dans la demande deux ou trois couples formés d'une entrée et de la sortie souhaitée, le modèle en déduit la règle et applique le même traitement à un contenu nouveau. Cela fonctionne parce que le modèle a déjà acquis la compréhension de la langue et des tâches pendant son pré-entraînement ; les exemples jouent moins le rôle d'un cours que celui d'une démonstration sur place.
Zéro exemple, un exemple, quelques exemples
Les trois notions ne diffèrent que par le nombre d'exemples fournis. Sans aucun exemple, le modèle répond uniquement à partir de sa compréhension de la tâche, ce qui convient aux travaux familiers comme la traduction ou le résumé. Avec un seul exemple, on lui montre une démonstration complète pour qu'il voie à quoi doit ressembler le résultat. Avec quelques exemples, en général deux à cinq, l'apport est d'autant plus net que la tâche est inhabituelle ou le format exigeant. Le repère est simple : quand une première réponse part de travers, le problème n'est le plus souvent pas la capacité, mais le fait que le modèle ignore la forme attendue, et ajouter des exemples corrige cela plus vite que reformuler des règles.
Pourquoi les exemples valent mieux que les explications
Beaucoup de personnes écrivent de longues listes de règles dans leur demande et obtiennent malgré tout des réponses à côté, parce que les règles sont abstraites alors que les exemples sont concrets. Pour une même tâche de classement, dix phrases de critères enseignent moins que trois échantillons déjà classés, car les exemples fixent en même temps le format d'entrée, la longueur de sortie, le ton et les cas limites, donnant au modèle de quoi vérifier point par point. La qualité compte ici plus que la quantité : si les exemples se contredisent ou ne couvrent que des cas faciles, le modèle apprendra la mauvaise règle avec la même fidélité. Choisissez des exemples qui couvrent les situations les plus faciles à confondre et gardez un format de sortie parfaitement homogène.
Ce n'est pas un ajustement fin
On confond souvent l'apprentissage à peu d'exemples avec une forme d'entraînement, alors qu'il ne modifie jamais les paramètres du modèle. Les exemples vivent uniquement dans le contexte de cette conversation, et dès qu'elle se termine ou que le contexte est effacé, l'effet de démonstration disparaît. L'ajustement fin est différent : il met réellement à jour les poids du modèle avec un jeu de données, donc l'effet persiste, mais il exige préparation des données, calcul et évaluation. L'arbitrage est clair. Pour une tâche temporaire, des règles changeantes ou un essai rapide, utilisez peu d'exemples. Pour une tâche fixe, durable, volumineuse et exigeante en stabilité, l'ajustement fin mérite son coût. Une dernière idée reçue mérite correction : multiplier les exemples n'améliore pas toujours le résultat. Ils consomment du contexte, et en accumuler trop empiète sur le contenu à traiter réellement. Trois à cinq bons exemples suffisent en général.
