Un modèle de récompense est l’arbitre qui note les réponses de l’IA : il ne répond pas lui-même aux questions, mais classe les réponses produites par un modèle et lui indique lesquelles méritent d’être apprises. Pendant l’entraînement, des humains classent d’abord plusieurs réponses à la même question ; le modèle de récompense apprend ces préférences, puis peut noter automatiquement des milliers de réponses, et le modèle s’ajuste vers les scores les plus élevés.
Sur quoi se base la note ?
Il apprend surtout trois choses : la réponse résout-elle vraiment le problème, est-elle claire et complète, franchit-elle une limite de sécurité ? La comparaison par paires est une méthode courante : deux réponses à une même question sont présentées, un annotateur choisit la meilleure, et le modèle généralise à partir de nombreux choix. Les scores n’ont pas d’unité absolue ; seul le classement relatif compte, et un autre groupe d’annotateurs ou d’autres critères déplaceront la tendance.
Ce n’est pas le juge final
Le modèle qui note et le modèle qui converse ont deux rôles distincts : l’un note seulement, l’autre répond seulement. Le modèle de notation peut aussi se tromper, par exemple en préférant des réponses longues et assurées même si elles sont inexactes, ou en étant trop prudent sur certains sujets et en pénalisant des réponses normales. Il ressemble davantage à un partenaire d’entraînement qu’à un contrôleur qualité de chaque phrase après le lancement.
Trois malentendus fréquents
Premièrement, un score élevé ne veut pas dire que les faits sont justes ; un modèle de récompense mesure ce qui correspond aux préférences humaines, pas ce qui est vrai. Deuxièmement, il ne remplace pas l’examen humain ; les contenus vraiment sensibles exigent encore des règles supplémentaires et un contrôle humain. Troisièmement, changer la grille de notation ne change pas immédiatement le style d’un modèle ; les changements de style viennent d’un entraînement ultérieur.
Beaucoup d’évolutions ressenties au quotidien y sont liées : des réponses plus polies, friandes de listes à puces, plus promptes à refuser les questions sensibles. Ces tendances viennent souvent du fait que le modèle de récompense les a récompensées à répétition pendant l’entraînement. Le savoir explique pourquoi un modèle préfère parfois une réponse prudente à une réponse directe.
