Le DPO (Optimisation Directe des Préférences) est une méthode d’alignement des modèles. Les données d’entraînement ne sont pas une réponse standard unique mais une paire de réponses sous la même consigne : laquelle correspond le mieux à la préférence et laquelle est relativement moins bonne. Le DPO augmente directement la probabilité relative de génération de réponses de préférence du modèle sans avoir à entraîner séparément les modèles de récompense, puis à utiliser le PPO pour l’optimisation de l’apprentissage par renforcement.
À quoi ressemblent les données de préférences ?
Les exemples les plus basiques incluent les suggestions, les réponses gagnantes et les réponses manquantes. Les annotateurs comparent les limites de l’utilité, de la factualité, du style ou de la sécurité. Pendant l’entraînement, le modèle apprend à créer un écart de probabilité entre les deux dans le même contexte, tout en se référant aux contraintes du modèle pour éviter de trop s’écarter du modèle original afin de répondre aux préférences.
Cela explique aussi pourquoi la DPO est souvent considérée comme plus simple que le processus classique RLHF : elle transforme la modélisation de la récompense et l’optimisation de stratégies en un objectif binaire, éliminant l’échantillonnage en ligne, les services de modèles de récompense et les boucles complexes d’apprentissage par renforcement. Elle reste à l’étape post-entraînement et ne peut remplacer les connaissances fondamentales acquises lors de la pré-entraînement.
Qu’apprennent-ils chacun pour le DPO, le SFT et le RLHF ?
| Méthode | Données clés | Rôle central | Limitations courantes |
|---|---|---|---|
| SFT | Indices et réponses idéales | Démonstration de cible imitation | Il est difficile d’exprimer une préférence subtile entre deux réponses disponibles |
| DPO | Les préférences et les non-préférences sont correctes | L’apprentissage direct est relativement préféré | Cela dépend fortement de la comparaison de la qualité et de la couverture des données |
| RLHF classique | Exemples de données de préférences, de modèles de récompense et de stratégies | Optimisez continuellement les stratégies avec des signaux de récompense | Le processus est complexe, et la stabilité et le coût de la formation sont plus difficiles à contrôler |
Ces trois ne sont pas de simples relations de substitution. Une approche courante consiste d’abord à établir les comportements disponibles avec la SFT, puis à utiliser des méthodes DPO ou d’autres méthodes d’optimisation des préférences pour calibrer le ton, les limites de rejet et la qualité de la réponse.
« Un entraînement plus facile » ne signifie pas automatiquement de meilleurs résultats
Si la réponse gagnante est seulement plus longue et plus favorable à l’annotateur, le modèle peut apprendre le style de surface plutôt que la vraie qualité. Si les préférences sont trop similaires, le signal d’entraînement sera faible ; Si la couverture est insuffisante, le modèle ne peut améliorer que quelques tâches.
La DPO est la mieux adaptée aux scénarios où les objectifs peuvent être exprimés par comparaison par paires tout en cherchant à réduire la complexité d’ingénierie RLHF. Les équipes doivent néanmoins conserver des ensembles d’évaluation indépendants pour vérifier les faits, la sécurité, les biais de longueur et les préférences des différents groupes ; Un « lequel on préfère » ne peut pas être considéré comme universellement correct.
