Found 4 related articles
Mixture of Experts (MoE) ist eine Modellarchitektur, die "nicht jedes Mal das gesamte Modell zusammensetzt". Das wichtigste Merkmal ist, dass einige E...
Diffusion LLM kann als Übertragung einiger Kernideen des "Diffusionsmodells" auf das Sprachmodell verstanden werden, indem Text in einer allmählichen ...
Sparse Attention kann einfach so verstanden werden: Anstatt dass jeder Token alle Token betrachtet, sollte selektiv nur ein Teil davon betrachtet werd...
Ein Transformer ist eine neuronale Netzwerkarchitektur. Es ist nicht wegen des Namens wichtig, sondern weil es gute Arbeit bei "paralleler Verarbeitun...