Sparse Attention kann einfach so verstanden werden: Anstatt dass jeder Token alle Token betrachtet, sollte selektiv nur ein Teil davon betrachtet werden. Dieser Begriff taucht immer wieder in Langzeitkontexten und Diskussionen über Schlussverlustkosten auf, denn obwohl die Standard-Vollaufmerksamkeit stark ist, steigen die Kosten für Berechnung und Videospeicher schnell an, sobald der Kontext besonders lang ist.
Warum wird "alles lesen" immer teurer?
Bei der Standard-Aufmerksamkeit gilt: Je länger der Text, desto mehr Beziehungen müssen untereinander berechnet werden. Es ist okay, wenn es ein kurzer Text ist, aber wenn es um lange Dokumente, langen Code und mehrere Runden Geschichte geht, steigt der Druck auf die Ressourcen schnell. Die Idee der spärlichen Aufmerksamkeit lautet: Da nicht alle Positionen gleich wichtig sind, zählen Sie nicht alle.
Wie spärlich es normalerweise ist
- Schau dir nur die lokalen Nachbarn an und behalte den aktuellen Kontext.
- Geben Sie einer kleinen Anzahl wichtiger Orte globale Sichtbarkeit, wie Titel, Moderatoren oder Zusammenfassungen.
- Befolge die Regeln oder erlernten Muster, um die bemerkenswertesten Segmente auszuwählen.
Warum dieses Konzept immer heißer wird
- Der lange Kontext hat sich von einem "experimentellen Verkaufsargument" zu einer echten Produktnachfrage entwickelt.
- Je größer das Modell und je länger der Kontext, desto sorgfältiger werden die Schlussfolgerungskosten sein.
- Inferenzmodelle und Agentenaufgaben verlängern Links eher, und die Optimierung der Architekturschicht ist noch wichtiger.
Aber spärliche Aufmerksamkeit ist nicht umsonst. Wenn du einige Inhalte verpasst, verpasst du möglicherweise Fernbeziehungen und verborgene Assoziationen. Der Schlüssel ist also nicht "je seltener, desto besser", sondern wie man das Behalten wichtiger Informationen und die Kostenkontrolle in Einklang bringt. Gerade wegen dieser Spannung wird die spärliche Aufmerksamkeit wieder heiß, wenn der lange Kontext heiß ist.
