Positionscodierung
Die Positionscodierung verrät einem Transformer, in welcher Reihenfolge die Wörter stehen. Dieses Thema vergleicht Sinus-, Lern- und Rotationsverfahren wie RoPE und zeigt, warum Angaben zur Kontextlänge oft an genau diesem Mechanismus hängen.
Self-Attention behandelt einen Satz zunächst wie eine lose Menge von Token, erst die Positionscodierung liefert das fehlende Ordnungsgefühl. Frühe Transformer addierten Sinus-Muster, viele aktuelle Modelle rotieren die Vektoren stattdessen mit RoPE. Die Wahl entscheidet mit darüber, wie weit ein Modell lesen kann, bevor entfernter Text unscharf wird. Wer diesem Thema folgt, kann große Kontextversprechen deutlich besser einordnen.
