Diffusion LLM kann als Übertragung einiger Kernideen des "Diffusionsmodells" auf das Sprachmodell verstanden werden, indem Text in einer allmählichen Denois- und allmählichen Korrektur generiert wird, anstatt wie traditionelle autoregressive Modelle jeweils ein Token zu schreiben. In letzter Zeit wurde viel darüber gesprochen, nicht weil es den Transformer-Weg komplett ersetzt hat, sondern weil die Branche nach anderen Textgenerierungsparadigmen sucht, um zu sehen, ob es neue Räume in Bezug auf Geschwindigkeit, Parallelität oder Steuerung erschließen kann.
Das größte Unterschied daran sind autoregressive Sprachmodelle
Das autoregressive Modell ähnelt eher dem Schreiben von Sätzen von links nach rechts, wobei letzteres Wort vom vorherigen Wort abhängt; Diffusion LLM ist eher so, dass man ein grobes Ergebnis liefert und es dann Runde für Runde korrigiert. Dadurch ist es theoretisch einfacher, parallel zu erzeugen, stößt aber auch auf Probleme, die mit diskreten Sprachstrukturen schwieriger zu bewältigen sind.
| Verlauf | Intuitives Verständnis | Potenzielle Vorteile | Die Hauptschwierigkeiten |
|---|---|---|---|
| Selbstrückkehr | Wort um Wort schreiben | Reif, stabil und ökologisch | Die Serienkosten sind bei langen Ausgängen hoch |
| Diffusions-LLM | Zuerst rau, dann feine und wiederholt repariert | Parallelpotential- und globaler Anpassungsraum | Sprachdiskretion und höhere Trainingsschwierigkeit |
Warum dieses Wort in letzter Zeit wieder heiß ist
- Der Diffusionsweg im Bereich von Bildern und Videos war sehr erfolgreich, und es ist naheliegend zu fragen, ob auch Text diesem Weg folgen kann.
- Inferenzkosten, lange Leistungsfähigkeit und stärkere Steuerung sind alles echte Forschungsmaschinen außerhalb des Selbstregressions-Weges.
- Wenn große Modellwettbewerbe in die tiefen Gewässer der Architektur eindringen, wird jede Richtung, die die Erzeugungsmethode umschreiben könnte, wieder heiß werden.
Aber jetzt ist es vernünftiger anzunehmen, dass Diffusion LLM immer noch eine Richtung ist, der man Aufmerksamkeit schenken sollte, anstatt bereits im Mainstream zu stehen. Es erklärt ein Signal auf Industrieebene: Sprachmodelle sind nicht der einzige Weg, zur Selbstregression zurückzukehren, selbst wenn sich die Hauptroute nicht geändert hat, beschleunigt sich auch die alternative Route.
