DPO (Direct Preference Optimization) ist eine Modellausrichtungsmethode. Trainingsdaten sind keine einheitliche Standardantwort, sondern ein Paar von Antworten unter derselben Aufforderung: Welche passt besser zu Präferenzen und welche ist relativ schlechter. DPO erhöht direkt die relative Wahrscheinlichkeit von Modellgenerierungs-Präferenzantworten, ohne Belohnungsmodelle separat trainieren zu müssen und dann PPO zur Optimierung des Reinforcement Learning zu verwenden.
Wie sehen Präferenzdaten aus?
Die grundlegendsten Stichproben umfassen Prompts, gewinnende Antworten und fehlende Antworten. Annotatoren vergleichen Hilfreichkeit, Fakthaftigkeit, Stil oder Sicherheitsgrenzen. Während des Trainings lernt das Modell, eine Wahrscheinlichkeitslücke zwischen beiden im selben Kontext zu schaffen, während es auf Modellbeschränkungen verweist, um nicht zu weit vom Originalmodell abzuweichen, nur um Präferenzen zu berücksichtigen.
Dies erklärt auch, warum DPO oft als einfacher angesehen wird als der klassische RLHF-Prozess: Es verwandelt Belohnungsmodellierung und Strategieoptimierung in ein binäres Ziel, indem es Online-Stichproben, Belohnungsmodelldienste und komplexe Reinforcement-Learning-Schleifen eliminiert. Es befindet sich weiterhin in der Post-Trainingsphase und kann das grundlegende Wissen, das durch das Pretraining gewonnen wurde, nicht ersetzen.
Was lernen DPO, SFT und RLHF jeweils?
| Methode | Schlüsseldaten | Kernaufgabe | Häufige Einschränkungen |
|---|---|---|---|
| SFT | Hinweise und ideale Antworten | Demonstration von Imitationszielen | Es ist schwer, eine subtile Präferenz zwischen zwei verfügbaren Antworten auszusprechen |
| DPO | Präferenzen und Nicht-Präferenzen sind korrekt | Direktes Lernen wird relativ bevorzugt | Stark abhängig vom Vergleich der Datenqualität und -abdeckung |
| Klassisches RLHF | Beispielpräferenzdaten, Belohnungsmodelle und Strategien | Optimieren Sie kontinuierlich Strategien mit Belohnungssignalen | Der Prozess ist komplex, und Trainingsstabilität sowie Kosten sind schwerer zu kontrollieren |
Diese drei sind keine einfachen Substitutionsbeziehungen. Ein gängiger Ansatz besteht darin, zunächst verfügbare Verhaltensweisen mit SFT zu etablieren und dann DPO oder andere Präferenzoptimierungsmethoden zu verwenden, um Ton, Abstoßgrenzen und Antwortqualität zu kalibrieren.
"Leichteres Training" bedeutet nicht automatisch bessere Ergebnisse
Wenn die Gewinnantwort nur länger und besser für den Annotator ist, lernt das Modell möglicherweise den Oberflächenstil statt die wahre Qualität. Wenn die Präferenzen zu ähnlich sind, ist das Trainingssignal schwach; Wenn die Abdeckung unzureichend ist, kann das Modell nur bei wenigen Aufgaben verbessert werden.
DPO eignet sich am besten für Szenarien, in denen Ziele durch paarweise Vergleich ausgedrückt werden können und gleichzeitig die Komplexität der RLHF-Ingenieurarbeit reduzieren wollen. Teams sollten weiterhin unabhängige Bewertungssets behalten, um Fakten, Sicherheit, Längenverzerrung und Präferenzen verschiedener Gruppen zu überprüfen; Eine "Welche man bevorzugt" kann nicht als universell korrekt angesehen werden.
