GRPO (Group Relative Policy Optimization, optimisation de stratégie relative au groupe) est un algorithme d'apprentissage par renforcement présenté par l'équipe DeepSeek dans DeepSeekMath. DeepSeek-R1 s'en est servi pour développer un raisonnement long sans modèle de récompense. L'idée centrale est simple : échantillonner d'un coup un groupe de réponses à la même question et laisser les réponses se classer entre elles au sein du groupe, au lieu d'entraîner un modèle de récompense séparé pour les noter.
Comment fonctionne GRPO : échantillonner, grouper, comparer
Pendant l'entraînement, le modèle génère un groupe de réponses à la même question, par exemple 8 à 16. Chaque réponse reçoit une récompense selon une règle : pour un problème de mathématiques, la réponse finale est-elle juste ; pour un problème de code, les tests passent-ils. La moyenne des récompenses du groupe sert ensuite de référence : les réponses au-dessus de la moyenne sont renforcées, celles en dessous sont affaiblies, et la stratégie se déplace vers les meilleures réponses. Pour éviter que le modèle ne dérive trop loin en une seule mise à jour, celle-ci est contrainte de rester proche de l'ancienne stratégie, avec une pénalité en cas d'écart trop grand. Toute la chaîne se passe d'un modèle de récompense, ainsi que du modèle critique que PPO utilise pour estimer la valeur : l'entraînement entretient donc moins de modèles et la facture mémoire diminue.
En quoi GRPO diffère de PPO
PPO apprend aussi à partir de récompenses, mais il a besoin d'un modèle de valeur pour estimer la qualité de l'état courant avant de calculer un avantage ; GRPO remplace cette estimation par la moyenne du groupe. L'avantage est une structure plus simple, moins de mémoire et moins d'hyperparamètres. L'inconvénient : quand toutes les réponses d'un groupe sont justes, ou toutes fausses, les récompenses ne se séparent plus et le signal d'apprentissage disparaît. L'entraînement de R1 dépendait donc fortement de la répartition des difficultés des questions : les questions si faciles que tout le groupe les réussit, ou si difficiles que tout le groupe échoue, n'apprennent rien.
Deux idées reçues, et les limites d'application
Première idée reçue : GRPO se passerait de récompense. Ce dont GRPO se passe, c'est du modèle de récompense ; la récompense elle-même demeure, simplement calculée en vérifiant l'exactitude selon une règle. Deuxième idée reçue : en faire une méthode d'entraînement universelle. La rédaction ouverte et les tâches créatives n'ont pas de juge automatique fiable, la récompense ne peut pas être fixée, et GRPO n'a alors rien avec quoi travailler. Pour juger si un cas convient à GRPO, une seule question compte : la réponse peut-elle être vérifiée automatiquement, sans s'appuyer sur le modèle lui-même ? Les mathématiques, le code et les tâches de mise en forme avec des réponses clairement justes conviennent ; les questions-réponses ouvertes ne doivent pas y être forcées.
