Selbstaufmerksamkeit ist ein Mechanismus, mit dem ein Modell beim Verarbeiten eines Satzes zuerst entscheidet, wie stark jedes Wort die anderen Wörter im Satz beachten sollte, und diese Informationen dann zusammenführt. Es liest nicht Wort für Wort in einer festen Reihenfolge, sondern alle Wörter bewerten sich gegenseitig: Je stärker die Verbindung, desto größer das Gewicht, und am Ende enthält die neue Darstellung jedes Wortes den Kontext, den es am meisten braucht.
Ein Beispiel zum Einstieg
In „Xiaoming legte die Schlüssel auf den Tisch, und er ging danach hinaus“ – auf wen bezieht sich „er“? Ein Mensch erkennt auf einen Blick, dass Xiaoming gemeint ist. Selbstaufmerksamkeit macht etwas Ähnliches: Beim Verarbeiten von „er“ erhält „Xiaoming“ ein höheres Gewicht, „Tisch“ und „Schlüssel“ dagegen niedrigere Gewichte, sodass die Darstellung von „er“ Informationen über Xiaoming enthält. Diese Gewichte sind keine von Hand geschriebenen Regeln, sondern werden während des Trainings aus großen Textmengen gelernt.
Was wird eigentlich berechnet?
Der Ablauf lässt sich in drei Schritte zerlegen: Zuerst wird jedes Wort in einen Vektor verwandelt, dann werden Übereinstimmungswerte zwischen den Wörtern berechnet, und schließlich werden die Informationen anderer Wörter nach diesen Werten gewichtet zusammengeführt. Wörter mit hohem Wert haben großen Einfluss, Wörter mit niedrigem Wert werden fast ignoriert. Entscheidend ist die Parallelität: Alle Wörter eines Satzes können diesen Schritt gleichzeitig ausführen, statt auf das vorherige Wort zu warten – ein Grund für die effiziente Verarbeitung längerer Texte und das schnelle Training.
Unterschied zu rekurrenten und faltenden Strukturen
Eine rekurrente Struktur liest einen Satz der Reihe nach, sodass Informationen weit entfernter Wörter beim Weitergeben leicht schwächer werden. Eine faltende Struktur betrachtet jeweils nur ein festes Fenster von Wörtern; Beziehungen außerhalb des Fensters lassen sich nur indirekt durch das Stapeln mehrerer Schichten herstellen. Selbstaufmerksamkeit hat kein festes Fenster und hängt nicht von sequenzieller Weitergabe ab, sodass weit entfernte Wörter direkt verbunden werden können. Sie ist jedoch nicht allmächtig: Sie braucht zusätzliche Positionsinformationen, um die Wortreihenfolge zu kennen, sonst wären „Die Katze jagt den Hund“ und „Der Hund jagt die Katze“ schwer zu unterscheiden.
Wo die Grenzen liegen
Selbstaufmerksamkeit entscheidet nur, welche Informationen wichtiger sind. Sie speichert keine Fakten, sie führt keine logischen Schlussfolgerungen durch und sie garantiert keine korrekten Ausgaben. Ihr sichtbarer Bereich ist außerdem durch die Kontextlänge begrenzt: Inhalte außerhalb des Fensters können nicht direkt teilnehmen, und der Rechenaufwand steigt mit zunehmender Satzlänge schnell an, sodass lange Texte deutlich mehr kosten als kurze. Es ist genauer, sie als Informationsfilter zu verstehen denn als Wissensdatenbank oder Schlussfolgerungsmaschine.
Häufige Missverständnisse
Erstens ist Selbstaufmerksamkeit nicht das Verstehen selbst: Ein hohes Gewicht bedeutet nur eine starke statistische Verbindung, die das Modell gelernt hat, nicht dass es die Bedeutung wirklich erfasst. Zweitens lassen sich Aufmerksamkeitsgewichte nicht direkt als Erklärung verwenden: Ein Wort mit hohem Gewicht ist nicht unbedingt der einzige Grund für eine bestimmte Antwort. Drittens ist Selbstaufmerksamkeit nicht der gesamte Transformer, der zusätzlich Feedforward-Netze, Positionskodierungen, Normalisierung und andere Bauteile enthält; Aufmerksamkeit allein trägt kein vollständiges Modell.
