L’apprentissage en contexte est la capacité d’un grand modèle à accomplir une nouvelle tâche à partir de quelques exemples fournis dans l’invite, sans mettre à jour ses paramètres. Le modèle n’est pas réentraîné et ne mémorise pas durablement les exemples. Il les traite comme des références temporaires dans la conversation en cours, en déduit le format, le style et les critères de la tâche, puis les applique à une nouvelle entrée. Des exemples clairs donnent des résultats plus précis ; des exemples vagues donnent des résultats vagues.
Un exemple concret
Supposons que vous vouliez qu’un modèle classe les messages des utilisateurs en demandes, plaintes et compliments. Il n’est pas nécessaire de le réentraîner. Donnez dans l’invite un ou deux messages étiquetés pour chaque catégorie, puis ajoutez un nouveau message sans étiquette. Le modèle suit le mode de classement des exemples. Changez les exemples ou les critères, et le même modèle peut donner un résultat très différent, ce qui montre qu’il suit les exemples plutôt qu’il n’exécute une règle figée.
En quoi il diffère du fine-tuning et du RAG
Le fine-tuning met réellement à jour les paramètres du modèle avec des données d’entraînement. Le changement persiste et convient aux tâches stables et de long terme, mais il exige des données, de la puissance de calcul et du temps. Le RAG commence par récupérer des contenus pertinents dans une base externe, puis laisse le modèle répondre à partir de ces contenus, de sorte que la réponse repose surtout sur les documents récupérés. L’apprentissage en contexte ne modifie ni les paramètres ni ne consulte de sources externes ; sa seule base est constituée des exemples de l’invite. C’est l’option la plus légère et la plus rapide, et aussi la plus sensible à la formulation de l’invite.
Trois idées reçues fréquentes
- Donner des exemples n’est pas entraîner. Les exemples n’agissent que dans la conversation en cours. Dans une nouvelle conversation, ils disparaissent, et le modèle ne conserve pas vos données sur le long terme.
- Plus d’exemples n’est pas toujours mieux. Le nombre, l’ordre et la formulation influencent tous le résultat. Des exemples contradictoires, placés en dernier ou formulés vaguement peuvent orienter le modèle dans la mauvaise direction.
- Un contexte plus long ne signifie pas une mémoire plus sûre. Plus l’invite contient d’éléments, plus les informations clés risquent d’être diluées, et le modèle peut accorder davantage d’attention aux contenus placés vers la fin. Mieux vaut présenter les exemples et les exigences importants de façon concise et visible, plutôt que de les accumuler.
Quand cela fonctionne bien, et quand il ne faut pas s’y fier
Les tâches au format fixe dont les critères peuvent être clarifiés par des exemples conviennent bien à l’apprentissage en contexte, comme la classification, la reformulation et l’extraction d’informations selon un modèle fixe. Les tâches qui exigent une expertise précise, une mémorisation durable des préférences ou des critères que les exemples ne peuvent pas clarifier ne doivent pas reposer sur quelques exemples. Le fine-tuning, la consultation de sources externes ou l’écriture explicite des règles sont alors plus adaptés. Le test est simple : si le fait de changer quelques exemples modifie fortement le résultat, la tâche en est encore au stade où le sens est deviné à partir d’exemples et elle a besoin d’une base plus solide.
