Mixture of Experts (MoE) ist eine Modellstruktur, die das Feedforward-Netz durch mehrere Experten-Subnetze ersetzt, wobei ein Router die Berechnung pro Token zuweist. Entscheidend ist nicht die Zahl der Experten, sondern die spärliche Aktivierung: Jedes Token durchläuft nur wenige Experten, die übrigen sind in diesem Schritt inaktiv. Die Gesamtzahl der Parameter kann daher sehr groß sein, während der Rechenaufwand pro Inferenzschritt nur nach dem aktivierten Teil bemessen wird. Wer diesen Satz versteht, versteht alle Kompromisse von MoE.
Der Router ist das kleinste, aber wichtigste Bauteil von MoE. Er ist ein kleines lernbares Netz, das die Darstellung jedes Tokens liest, alle Experten bewertet und nur die k Besten behält. Die ausgewählten Experten verarbeiten das Token jeweils, und ihre Ausgaben werden nach den Router-Gewichten kombiniert. Aufmerksamkeitsschichten, Einbettungen und der Router selbst werden von allen Token geteilt; nur die Experten-Feedforward-Schichten sind spärlich. Manche Designs fügen einen gemeinsamen Experten hinzu, den jedes Token durchläuft, um allgemeine Muster zu verarbeiten und die gerouteten Experten zu entlasten.
Dichte Modelle und MoE: die Kosten getrennt rechnen
Ein dichtes Modell führt für jedes erzeugte Token alle Parameter aus, sodass eine Verdopplung der Parameter Rechenaufwand und Speicher ungefähr verdoppelt. MoE trennt beides: Die Gesamtparameter bestimmen, wie viele Gewichte in den Speicher passen müssen, die aktivierten Parameter bestimmen, wie schnell jeder Schritt ist. Auf derselben Karte kann ein MoE-Modell oft deutlich mehr Gesamtparameter halten, läuft aber nicht wie ein kleines dichtes Modell, weil alle Gewichte im Speicher bleiben müssen und das Laden und Wechseln von Experten ebenfalls kostet. Nur die Gesamtparameter zu betrachten, führt in die Irre, und nur die aktivierten Parameter zu betrachten, ebenso; beide Zahlen müssen zusammen gelesen werden.
Drei verbreitete Missverständnisse müssen getrennt werden. Erstens sind Experten keine Abteilungen nach Fachgebiet. Das Routing lernt eine Arbeitsteilung über statistische Muster; niemand klebt einem Experten ein Etikett wie „Mathe-Experte" oder „Code-Experte" an, und Experten nach Thema festzulegen, ist unzuverlässig. Zweitens addiert sich Fähigkeit nicht automatisch mit mehr Experten. Wenn der Router die meisten Token an wenige Experten schickt, sind untätige Experten verschwendeter Speicher, weshalb das Training mit Lastverteilungs-Beschränkungen diesem Kollaps vorbeugt. Drittens spart MoE nicht automatisch Geld. Es spart Berechnung pro Token, im Tausch gegen größeren Speicher, komplexere Bereitstellung und schwerer zu debuggendes Training; auch der Inferenzdienst muss für Experten-Parallelisierung und Kommunikation zahlen.
MoE eignet sich für Szenarien mit großem Gesamt-Kapazitätsbedarf, knappem Latenzbudget pro Schritt und den Mitteln für großen Speicher und verteilte Bereitstellung, etwa groß angelegte Online-Inferenz. MoE auf einem persönlichen Gerät zu betreiben, beginnt mit der Speicherrechnung: Die Gesamtmenge der Gewichte entscheidet, ob es passt, die aktivierte Menge entscheidet, wie schnell es läuft, und beide Bedingungen sind nötig. Umgekehrt ist bei bescheidener Parametergröße und einfacher Bereitstellung ein dichtes Modell meist unkomplizierter, mit ausgereifterer Debugging- und Quantisierungswerkzeugkette. Wählen Sie eine Architektur zuerst nach den Beschränkungen, dann nach den Parameterzahlen.
