Positionscodierung ist ein zusätzliches Ordnungssignal, das an jedes Wort eines Satzes angehängt wird, damit ein Modell weiß, welches Token zuerst kommt und welches folgt. Self-Attention vergleicht zwar alle Wörter miteinander, kennt von sich aus aber keine Reihenfolge: Ohne Positionsinformation wären „Der Hund beißt den Mann“ und „Der Mann beißt den Hund“ für sie dieselbe Menge von Wörtern. Genau diese Lücke schließt die Positionscodierung.
Warum Self-Attention keine Reihenfolge kennt
Die Aufmerksamkeit berechnet für jedes Wortpaar eine Ähnlichkeit, unabhängig von der Position. Vertauscht man die Eingabereihenfolge, ändert sich am Ergebnis nichts Grundsätzliches. Sprache lebt aber von Reihenfolge, also muss die Position als eigenes Signal in die Vektoren der Token einfließen, bevor das Modell zu rechnen beginnt.
Drei klassische Lösungen
Erstens die Sinus-Codierung des ursprünglichen Transformer: Feste Wellenmuster unterschiedlicher Frequenz werden zum Token-Vektor addiert. Sie braucht kein Training und lässt sich auf längere Texte übertragen, ist aber starr. Zweitens gelernte Positionen: Das Modell bekommt für jede Position einen trainierbaren Vektor. Das ist flexibel, endet aber an der längsten im Training gesehenen Länge. Drittens RoPE, die Rotationscodierung, die viele aktuelle Modelle nutzen: Sie rotiert Teile des Vektors je nach Position, sodass Aufmerksamkeit natürlicherweise relative Abstände sieht. RoPE kommt mit langen Kontexten besser zurecht und ist zum De-facto-Standard geworden.
Absolute und relative Position sind nicht dasselbe
Absolute Codierung sagt: „Du bist Wort Nummer 7.“ Relative Codierung sagt: „Du stehst drei Wörter hinter dem Bezugswort.“ Für Sprache ist meist der Abstand wichtiger als die absolute Hausnummer, deshalb setzen moderne Verfahren auf relative Information. Das erklärt auch, warum Modelle bei Texten weit jenseits ihrer Trainingslänge oft unscharf werden: Die vertrauten Abstände sind aufgebraucht, nicht das „Gedächtnis“.
Drei verbreitete Missverständnisse
Positionscodierung ist kein Inhaltsverständnis: Sie liefert nur Ordnung, keine Bedeutung. Sie ist auch keine Gedächtnisfunktion: Dass ein Modell ein frühes Detail verliert, liegt eher an Aufmerksamkeit und Kontextbudget als am Positionsverfahren allein. Und ein längeres Kontextfenster bedeutet nicht automatisch besseres Lesen in der Ferne: Verfahren wie Skalierung der RoPE-Basis dehnen die Reichweite, verwässern aber die Auflösung für nahe Positionen.
Wer also beurteilen will, ob ein Modell lange Dokumente wirklich sicher liest, fragt nicht nur nach der Fenstergröße, sondern danach, wie es Positionen codiert und Abstände auflöst. Die Positionscodierung ist das stille Fundament dieser Fähigkeit.
