Le LLM de diffusion peut être compris comme le transfert de certaines idées fondamentales du « modèle de diffusion » au modèle de langage, générant du texte de manière progressive de débruisement et de correction progressive, plutôt que d’écrire un jeton à la fois comme les modèles autorégressifs traditionnels. On en a beaucoup parlé récemment, non pas parce qu’il a complètement remplacé la voie Transformer, mais parce que l’industrie cherche d’autres paradigmes de génération de texte pour voir s’il pouvait ouvrir de nouveaux espaces en termes de vitesse, de parallélisme ou de contrôle.
La différence la plus grande est des modèles de langage autorégressifs
Le modèle autorégressif ressemble davantage à l’écriture de phrases de gauche à droite, ce dernier mot dépendant du mot précédent ; Diffusion LLM, c’est plutôt comme vous donner un résultat approximatif puis corriger le résultat tour par tour. De ce fait, il est théoriquement plus facile de le générer en parallèle, mais il rencontre aussi des problèmes plus difficiles à traiter avec les structures discrètes du langage.
| Tracé | Compréhension intuitive | Avantages potentiels | Les principales difficultés |
|---|---|---|---|
| Retour personnel | Écris mot après mot | Mature, stable et écologique | Le coût en série est élevé pour les sorties longues |
| Diffusion LLM | D’abord rugueux, puis bien et réparé à plusieurs reprises | Potentiel parallèle et espace d’ajustement global | Discrétion linguistique et difficulté de formation supérieure |
Pourquoi ce mot est à nouveau en vogue ces derniers temps
- La voie de diffusion dans le domaine des images et des vidéos a été très réussie, et il est naturel de se demander si le texte peut aussi suivre cette voie.
- Le coût d’inférence, la grande efficacité de la production et un contrôle renforcé sont tous de véritables moteurs de recherche en dehors de la voie de l’auto-régression.
- Lorsque la grande concurrence des modèles s’aventurera dans les eaux profondes de l’architecture, toute direction susceptible de réécrire la méthode de production s’intensifiera à nouveau.
Mais aujourd’hui, il est plus raisonnable de croire que Diffusion LLM reste une direction à suivre, plutôt que d’être déjà dans le courant dominant. Cela explique un signal au niveau de l’industrie : les modèles de langage ne sont pas la seule voie pour revenir à l’auto-régression, même si la route principale n’a pas changé, la voie alternative s’accélère.
