GRPO (Group Relative Policy Optimization, gruppenrelative Strategieoptimierung) ist ein Reinforcement-Learning-Algorithmus, den das DeepSeek-Team in DeepSeekMath vorgestellt hat. DeepSeek-R1 hat damit langes Schlussfolgern gelernt, ohne ein Belohnungsmodell zu verwenden. Die Kernidee ist einfach: Für dieselbe Frage wird auf einmal eine Gruppe von Antworten erzeugt, und die Antworten werden innerhalb der Gruppe miteinander verglichen, statt ein separates Belohnungsmodell zum Bewerten zu trainieren.
Wie GRPO läuft: erzeugen, gruppieren, vergleichen
Im Training erzeugt das Modell für dieselbe Frage eine Gruppe von Antworten, etwa 8 bis 16 Stück. Jede Antwort erhält eine Belohnung nach einer Regel: Bei einer Mathematikaufgabe zählt, ob die Endantwort stimmt, bei einer Programmieraufgabe, ob die Tests bestehen. Der Durchschnitt der Belohnungen in der Gruppe dient dann als Basislinie: Antworten über dem Durchschnitt werden verstärkt, Antworten darunter abgeschwächt, und die Strategie bewegt sich in Richtung der besseren Antworten. Damit das Modell sich nicht in einem einzigen Schritt zu weit entfernt, wird die Aktualisierung in der Nähe der alten Strategie gehalten; wer zu weit abweicht, wird bestraft. Die gesamte Pipeline spart ein Belohnungsmodell ein und auch das Kritiker-Modell, mit dem PPO den Wert schätzt. Das Training muss also weniger Modelle pflegen, und die Speicherrechnung fällt kleiner aus.
Worin es sich von PPO unterscheidet
Auch PPO lernt aus Belohnungen, braucht aber ein Wertmodell, um einzuschätzen, wie gut der aktuelle Zustand ist, bevor es einen Vorteil berechnet. GRPO ersetzt diese Schätzung durch den Gruppendurchschnitt. Der Vorteil ist eine einfachere Struktur, weniger Speicher und weniger Hyperparameter. Der Nachteil: Wenn alle Antworten einer Gruppe richtig oder alle falsch sind, lassen sich die Belohnungen nicht trennen, und das Lernsignal verschwindet. Das Training von R1 hing deshalb stark von der Schwierigkeitsmischung der Fragen ab: Fragen, die so leicht sind, dass die ganze Gruppe sie löst, oder so schwer, dass die ganze Gruppe scheitert, lehren nichts.
Zwei Missverständnisse und die Grenzen der Anwendung
Das erste Missverständnis ist, dass GRPO ohne Belohnung auskäme. Was GRPO einspart, ist das Belohnungsmodell; die Belohnung selbst bleibt bestehen, sie wird nur durch regelbasierte Prüfung der Richtigkeit berechnet. Das zweite Missverständnis ist, GRPO als universelle Trainingsmethode zu sehen. Offenes Schreiben und kreative Aufgaben haben keinen verlässlichen automatischen Prüfer, die Belohnung lässt sich nicht festlegen, und GRPO hat nichts, womit es arbeiten könnte. Ob ein Szenario zu GRPO passt, entscheidet eine einzige Frage: Lässt sich die Antwort automatisch prüfen, ohne sich auf das Modell selbst zu verlassen? Mathematik, Code und Formatierungsaufgaben mit klaren richtigen Antworten eignen sich; offene Fragen und Antworten sollten nicht hineingezwungen werden.
