MoE

Was ist ein Hybrid Expert (MoE)? Warum sind viele beliebte Modelle mit großen Parametern, aber nicht so großen Aktivierungen?

Mixture of Experts (MoE) ist eine Modellarchitektur, die "nicht jedes Mal das gesamte Modell zusammensetzt". Das wichtigste Merkmal ist, dass einige E...