Ein Reward-Modell ist der Schiedsrichter, der KI-Antworten bewertet: Es beantwortet keine Fragen selbst, sondern stuft die Antworten eines Modells ein und zeigt ihm, welche Art von Antwort lernenswert ist. Beim Training ordnen Menschen zunächst mehrere Antworten auf dieselbe Frage; das Reward-Modell lernt diese Vorlieben und kann danach Tausende Antworten automatisch bewerten, sodass sich das Modell in Richtung höherer Punktzahlen anpasst.
Wonach wird bewertet?
Es lernt vor allem drei Dinge: Löst die Antwort das Problem wirklich, ist sie klar und vollständig, und überschreitet sie eine Sicherheitsgrenze? Ein gängiges Verfahren ist der paarweise Vergleich: Zwei Antworten auf eine Frage werden gezeigt, ein Annotator wählt die bessere, und das Modell verallgemeinert aus vielen solcher Entscheidungen. Punkte haben keine absolute Einheit; nur die relative Rangfolge zählt, und eine andere Annotatorengruppe oder ein anderes Regelwerk verschiebt die Tendenz.
Es ist nicht der letzte Richter
Das bewertende Modell und das chattenende Modell haben getrennte Rollen: Das eine bewertet nur, das andere antwortet nur. Auch das bewertende Modell irrt, etwa wenn es lange, selbstbewusste Antworten bevorzugt, selbst wenn sie ungenau sind, oder wenn es bei manchen Themen übervorsichtig ist und normale Antworten abwertet. Es ist eher ein Trainingspartner in der Lernphase als ein Prüfer für jeden Satz nach dem Start.
Drei häufige Missverständnisse
Erstens bedeutet eine hohe Punktzahl nicht, dass die Fakten stimmen; ein Reward-Modell misst, was menschlichen Vorlieben entspricht, nicht was wahr ist. Zweitens ersetzt es keine menschliche Prüfung; wirklich sensible Inhalte brauchen weiterhin zusätzliche Regeln und menschliche Kontrolle. Drittens ändert eine geänderte Bewertungsregel nicht sofort den Stil eines Modells; Stiländerungen entstehen durch weiteres Training.
Viele Veränderungen im Alltag hängen damit zusammen: Antworten werden höflicher, lieben Aufzählungen und verweigern sensible Fragen schneller. Solche Tendenzen entstehen oft dadurch, dass das Reward-Modell sie im Training wiederholt belohnt hat. Wer das weiß, versteht, warum ein Modell manchmal lieber vorsichtig als direkt antwortet.
