Le mélange d’experts (MoE) est une architecture de modèle qui « ne met pas tout le modèle ensemble ensemble à chaque fois ». Sa caractéristique la plus importante est que certaines couches du modèle sont divisées en plusieurs modules experts, puis un routeur détermine quels experts le jeton actuel doit prendre. De cette façon, les paramètres totaux du modèle peuvent être rendus très grands, mais les paramètres qui participent réellement au calcul à un moment donné ne sont pas si grands, donc vous verrez de nombreux modèles populaires avec des dizaines ou des centaines de paramètres B écrits dessus, mais les paramètres d’activation réels sont beaucoup plus petits.
Si l’on considère le modèle ordinaire dense comme une entreprise qui organise toutes les réunions de tous les employés, le MoE ressemble plutôt à « voir d’abord à quel département appartient le problème, puis convoquer les experts concernés dans la salle de réunion ». Tous les experts ne gèrent pas toutes les entrées. Pour le modèle, cela signifie que la capacité peut s’étendre, mais le calcul d’une seule inférence ne s’étale pas nécessairement de façon linéaire.
C’est aussi la raison fondamentale pour laquelle le MoE est en forte popularité ces deux dernières années. Tout le monde veut agrandir le modèle, augmenter la capacité de connaissance et la limite de tâches, mais ne veut pas non plus que le coût d’inférence devienne incontrôlable. Le MoE propose une voie intermédiaire : l’échelle des paramètres est augmentée, et le calcul d’activation est aussi proche que possible. La raison pour laquelle des modèles comme Mixtral peuvent mener les discussions sur le MoE, c’est parce qu’ils permettent à plus de personnes de voir que « paramètres totaux » et « paramètres actifs » ne sont pas la même chose.
Cependant, MoE ne signifie pas donner des performances en vain. Sa principale difficulté réside dans le routage. Le routeur doit décider quel expert trouver pour chaque jeton, non seulement pour permettre aux experts de se forger leur propre expertise, mais aussi pour éviter que quelques experts soient pleins chaque jour et d’autres inactifs. Pour éviter ce déséquilibre, l’équilibrage de charge est souvent ajouté pendant l’entraînement. La véritable difficulté de nombreux modèles MoE ne réside pas dans le concept, mais dans la stabilité de l’entraînement et l’efficacité technique.
Un autre point que le MoE est facilement mal compris est qu’il permet principalement d’économiser « le calcul par activation », et non la difficulté du déploiement. Avec plus d’experts, l’occupation de la mémoire, la communication distribuée et la planification par inférence deviendront plus complexes. Surtout dans un environnement multi-cartes, la manière dont les experts réduisent, synchronisent et réduisent la charge de communication détermine souvent si le MoE améliore l’efficacité ou ajoute de la congestion.
Donc, quand vous voyez un modèle qui dit être un MoE, ne vous contentez pas de fixer les chiffres des paramètres. Trois choses méritent plus d’être posées : chaque jeton active plusieurs experts ; si la formation et le raisonnement sont stables ; L’équipe dispose-t-elle de l’infrastructure correspondante pour fonctionner ? Sans ces conditions, les comptes du MoE ne peuvent pas être comptabilisés.
Le MoE n’est pas non plus adapté à être divinisé. Ce n’est pas un remplacement à sens unique « plus avancé qu’un transformateur », mais une stratégie d’échelle dans le système Transformer. De nombreux modèles utilisent le MoE dans certaines couches, et le reste reste des structures conventionnelles. En d’autres termes, il s’agit plutôt d’une réponse d’ingénierie pour résoudre la contradiction entre évolutivité et coût à l’ère des grands modèles.
La raison pour laquelle le MoE est encore un mot en vogue aujourd’hui n’est pas seulement parce qu’il existe de nombreux articles, mais aussi parce que tout le monde a enfin commencé à calculer sérieusement les coûts d’inférence et les bénéfices du déploiement. À mesure que le modèle devient plus grand et que la puissance de calcul devient de plus en plus coûteuse, « quels paramètres participent vraiment à ce calcul » devient lui-même le problème le plus réaliste.
