Seltene Aufmerksamkeit

Was ist Sparse Attention? Warum lange Kontext- und Inferenzkostenfragen immer darüber sprechen

Sparse Attention kann einfach so verstanden werden: Anstatt dass jeder Token alle Token betrachtet, sollte selektiv nur ein Teil davon betrachtet werd...