ToolNavs Outils IA à découvrir
Proposer Connexion
Retour à Informations sur l’IA
MAI-Base-2 : pré-entraînement terminé, 2,8 billions de paramètres et une efficacité annoncée plusieurs fois supérieure à DeepSeek

MAI-Base-2 : pré-entraînement terminé, 2,8 billions de paramètres et une efficacité annoncée plusieurs fois supérieure à DeepSeek

Informations sur l’IA • Admin • • 13 vues

MAI-Base-2 a terminé son pré-entraînement. Le 15 octobre 2026, Microsoft AI en a publié les détails dans son article officiel « Frontier Pre-training at Microsoft AI » : ce modèle de fondation en mélange d'experts compte 2,8 billions de paramètres au total, dont environ 80 milliards seulement sont activés à chaque inférence. Sur les évaluations internes de Microsoft, son score en bits par octet est inférieur à celui de tous les modèles à poids ouverts testés.

L'efficacité annoncée demande son contexte

Le chiffre qui retient l'attention est celui de l'efficacité. D'après ses ajustements de lois d'échelle, Microsoft estime que sa recette n'aurait besoin que d'environ un quart à un douzième de la puissance de calcul de DeepSeek-V4-Pro-Base pour atteindre le même niveau d'évaluation. Ce n'est pas une course à budget de calcul égal, mais une efficacité de recette déduite de courbes d'échelle ; Microsoft note lui-même que certains modèles comparés n'existaient qu'en versions post-entraînées. Lu ainsi, ce chiffre parle davantage des progrès des méthodes d'entraînement que du vainqueur d'un seul benchmark.

Une recette née de 16 000 GPU en 38 jours

L'entraînement s'est déroulé en août et septembre 2026 sur 16 000 GPU GB200 pendant 38 jours, avec une utilisation moyenne du calcul de 21 % et un goodput de 89 %. Trois choix l'ont porté : des échelles de montée en charge avec source scaling, qui prédisent les grands modèles à partir de petits essais ; le mélange d'experts dans chaque couche, avec un routage sans abandon qui a fait passer l'utilisation des couches d'experts de 24 % à 35 % ; et l'optimiseur Muon à la place de l'habituel AdamW. Microsoft souligne que les données d'entraînement sont des données organiques dont elle maîtrise la provenance, sans distillation d'autres modèles.

Pourquoi Microsoft construit sa propre chaîne

MAI-Base-2 est actuellement en post-entraînement, sans version publique ni résultats complets pour l'instant. La voie commerciale décrite par Microsoft est la licence des poids à des partenaires de confiance via Foundry. Pour les clients, l'argument ne tient pas qu'au nombre de paramètres : c'est la traçabilité des données et une infrastructure d'entraînement et de service optimisée par le même acteur. Reste à voir si la version post-entraînée saura convertir cet avantage d'efficacité en performances réelles.

Outils Recommandés

Plus