Der Aufmerksamkeitsmechanismus bedeutet einfach, dass das Modell lernt, bei der Informationsverarbeitung "auf die Schlüsselpunkte zu achten". Wenn eine Person einen Absatz liest, betrachtet sie nicht jedes Wort gleichermaßen, und das Modell ist dasselbe: Es weist verschiedenen Wörtern oder Fragmenten je nach Aufgabe unterschiedliche Gewichtungen zu. Inhalte mit hohem Gewicht beeinflussen eher die Ergebnisse, und niedrig gewichtete Inhalte sind wie Hintergrundrauschen.
Deshalb ändert sich der Effekt des großen Modells erheblich, sobald der Aufmerksamkeitsmechanismus auftaucht. Das vorherige Modell war eher eine harte Lesung in der Reihenfolge, und ich vergaß oft die Vorderseite, wenn ich die Rückseite las; Mit dem Aufmerksamkeitsmechanismus kann das Modell im aktuellen Schritt relevantere Informationen finden, sodass lange Sätze, Satzübergreifende Beziehungen und kontextuelles Verständnis deutlich besser sind.
Was zum Teufel macht es da?
Man kann den Aufmerksamkeitsmechanismus als eine "Korrelationsbewertungstabelle" betrachten. Bevor ein Wort generiert wird, bestimmt das Modell, welche Wörter in der Eingabe am relevantesten für die aktuelle Aufgabe sind, und verstärkt dann die Wirkung dieser Wörter. Der Schlüssel ist hier nicht, "sich an alles zu erinnern", sondern "zu wissen, an wen man sich auf jeden Schritt des Weges beziehen muss".
Daher löst der Aufmerksamkeitsmechanismus nicht das Speicherproblem, sondern das Abrufproblem. Das Modell versteht den Volltext nicht wirklich wie ein Mensch, es ist nur besser darin, den nützlichsten Teil der aktuellen Information in der riesigen Informationsmenge zu finden. Seine Rolle ist offensichtlich, wenn es um Übersetzung, Zusammenfassung, Fragen und Antworten und Code-Verständnis geht. Wenn man einen langen Artikel zusammenfasst, kann das Modell den Titel, die Entität und die Beziehung erfassen, und das ist ebenfalls der Fall.
In einem realen Modell funktioniert der Aufmerksamkeitsmechanismus normalerweise nicht allein, sondern arbeitet mit Modulen wie Positionscodierung, Vorwärtsnetzwerk und Restverbindung zusammen, um eine vollständige Architektur zu bilden.
Die häufigsten Missverständnisse
- Mythos 1: Aufmerksamkeit ist dasselbe wie Denken. Tatsächlich handelt es sich nur um einen gewichteten Auswahlmechanismus.
- Mythos 2: Je mehr Aufmerksamkeit du hast, desto stärker musst du sein. In Wirklichkeit hängt es auch von den Trainingsdaten, der Parametergröße und dem strukturellen Design ab.
- Mythos 3: Aufmerksamkeit erinnert sich perfekt an alle Kontexte. Bei viel langem Text wird das Modell weiterhin vom Kontextfenster und dem Rauschen beeinflusst.
Wichtig ist jedoch, dass der Aufmerksamkeitsmechanismus es dem Modell ermöglicht, von "mechanischem sequentiellem Lesen" zu "dynamischem Tastenlesen" umzuschalten. Das ist auch der Grund, warum sie später fast zur Standardkonfiguration am Boden großer Modelle wurde.
