Mixture of Experts (MoE) ist eine Modellarchitektur, die "nicht jedes Mal das gesamte Modell zusammensetzt". Das wichtigste Merkmal ist, dass einige Ebenen des Modells in mehrere Expertenmodule unterteilt sind, und dann bestimmt ein Router, welche Experten der aktuelle Token nehmen soll. Auf diese Weise können die Gesamtparameter des Modells sehr groß gemacht werden, aber die Parameter, die tatsächlich an der Berechnung beteiligt sind, sind nicht so groß, sodass viele beliebte Modelle mit Dutzenden oder Hunderten von B-Parametern darauf geschrieben sind, während die tatsächlichen Aktivierungsparameter viel kleiner sind.
Wenn man das gewöhnliche dichte Modell als ein Unternehmen betrachtet, das jede Mitarbeiterversammlung abhält, ist das MoE eher so: "Schau zuerst, zu welcher Abteilung das Problem gehört, und ruf dann relevante Experten in den Besprechungsraum". Nicht alle Experten übernehmen jede Eingabe. Für das Modell bedeutet dies, dass die Kapazität sich erweitern kann, aber die Berechnung einer einzelnen Schlussfolgerung nicht zwangsläufig linear spiket.
Das ist auch der grundlegende Grund, warum MoE in den letzten zwei Jahren so beliebt war. Jeder möchte das Modell größer machen, die Wissenskapazität und das Aufgabenlimit erhöhen, aber auch nicht, dass die Schlussfolgerungskosten außer Kontrolle geraten. Das MoE bietet einen Zwischenweg: Die Parameterskala wird erhöht und die Aktivierungsberechnung ist so nah wie möglich. Der Grund, warum Modelle wie Mixtral MoE-Diskussionen antreiben können, ist, dass sie mehr Menschen sehen können, dass "Gesamtparameter" und "aktive Parameter" nicht dasselbe sind.
MoE bedeutet jedoch nicht, Leistung umsonst zu liefern. Der Hauptschwierigkeitsgrad liegt im Routing. Der Router muss entscheiden, welchen Experten er für jeden Token findet, nicht nur, damit die Experten ihre eigene Expertise entwickeln können, sondern auch, um eine Situation zu vermeiden, in der täglich einige Experten voll sind und andere untätig sind. Um dieses Ungleichgewicht zu vermeiden, wird während des Trainings häufig eine Lastverteilung hinzugefügt. Die eigentliche Schwierigkeit vieler MoE-Modelle liegt nicht im Konzept, sondern in der Trainingsstabilität und der technischen Effizienz.
Ein weiterer Punkt, den MoE leicht missverstanden wird, ist, dass es hauptsächlich "Berechnung pro Aktivierung" spart, nicht die Schwierigkeit der Bereitstellung. Mit mehr Experten werden Speicherauslastung, verteilte Kommunikation und Inferenzplanung komplexer. Gerade in einer Multi-Card-Umgebung bestimmen oft die Kürzung, Synchronisierung und Reduzierung von Kommunikationsaufwänden von Experten, ob MoE die Effizienz steigert oder die Überlastung erhöht.
Wenn Sie also ein Modell sehen, das angibt, es sei ein MoE, starren Sie nicht nur auf die Parameterzahlen. Drei Dinge lohnen sich eher zu fragen: Jeder Token aktiviert mehrere Experten; ob Ausbildung und Schlussfolgerung stabil sind; Hat das Team die entsprechende Infrastruktur zum Laufen? Ohne diese Bedingungen könnten die Konten des MoE nicht gezählt werden.
MoE ist auch nicht geeignet, vergöttlicht zu werden. Es handelt sich nicht um einen Einweg-Ersatz, der "fortschrittlicher als ein Transformator" ist, sondern eine Skalierungsstrategie im Transformatorsystem. Viele Modelle verwenden MoE in einigen Schichten, und der Rest sind weiterhin konventionelle Strukturen. Mit anderen Worten, es ist eher eine ingenieurtechnische Lösung, um die Skalierbarkeit und den Kostenkonflikt im Zeitalter großer Modelle zu lösen.
Der Grund, warum MoE heute noch ein heißes Wort ist, liegt nicht nur daran, dass es viele Publikationen gibt, sondern auch, weil endlich alle begonnen haben, Inferenzkosten und Nutzen der Bereitstellung ernsthaft zu berechnen. Je größer das Modell wird und die Rechenleistung immer teurer wird, desto realistischer wird die Frage, welche Parameter wirklich an dieser Berechnung beteiligt sind.
