ToolNavs KI-Tools entdecken
Tool einreichen Anmelden
Zurück zu KI-Informationen
MAI-Base-2: Vortraining abgeschlossen – 2,8 Billionen Parameter, angeblich mehrfach effizienter als DeepSeek

MAI-Base-2: Vortraining abgeschlossen – 2,8 Billionen Parameter, angeblich mehrfach effizienter als DeepSeek

KI-Informationen • Admin • • 13 Aufrufe

MAI-Base-2 hat sein Vortraining abgeschlossen. Am 15. Oktober 2026 veröffentlichte Microsoft AI die Details in seinem offiziellen Beitrag „Frontier Pre-training at Microsoft AI": Das Basismodell ist ein Mixture-of-Experts-Modell mit 2,8 Billionen Parametern insgesamt, von denen pro Inferenz nur rund 80 Milliarden aktiv sind. In Microsofts eigenen zurückgehaltenen Evaluationen lag sein Bits-pro-Byte-Wert unter dem aller getesteten Open-Weight-Modelle.

Die Effizienzaussage braucht ihren Kontext

Die Schlagzeilenzahl ist die Effizienz. Microsoft schätzt auf Grundlage angepasster Skalierungsgesetze, dass sein Rezept nur etwa ein Viertel bis ein Zwölftel der Rechenleistung von DeepSeek-V4-Pro-Base bräuchte, um dieselben Evaluationswerte zu erreichen. Das ist kein Rennen unter gleichem Rechenbudget, sondern eine aus Skalierungskurven abgeleitete Rezepteffizienz – und Microsoft vermerkt selbst, dass einige Vergleichsmodelle nur als nachtrainierte Checkpoints vorlagen. So gelesen sagt die Zahl mehr über Fortschritte bei Trainingsmethoden aus als über den Sieger eines einzelnen Benchmarks.

Ein Rezept aus 16.000 GPUs und 38 Tagen

Der Lauf fand im August und September 2026 auf 16.000 GB200-GPUs über 38 Tage statt, mit einer durchschnittlichen Rechenauslastung von 21 % und einem Goodput von 89 %. Drei Entscheidungen trugen ihn: Skalierungsleitern mit Source Scaling, die große Läufe aus kleinen Experimenten vorhersagen; Mixture-of-Experts in jeder Schicht, wobei dropless Routing die Auslastung der Expertenschichten von 24 % auf 35 % hob; sowie der Muon-Optimierer statt des üblichen AdamW. Microsoft betont, die Trainingsdaten seien organische Daten mit eigener Herkunft, ohne Destillation aus anderen Modellen.

Warum Microsoft eine eigene Pipeline aufbaut

MAI-Base-2 befindet sich derzeit im Nachtraining; eine nutzerseitige Veröffentlichung und vollständige Ergebnisse stehen noch aus. Als kommerziellen Weg beschreibt Microsoft die Lizenzierung der Gewichte an vertrauenswürdige Partner über Foundry. Für Kunden ist das Argument nicht nur die Parameterzahl, sondern nachvollziehbare Datenherkunft und eine Trainings- und Serving-Infrastruktur, die derselbe Anbieter optimiert. Offen bleibt, ob die nachtrainierte Version den Effizienzvorsprung aus dem Vortraining in echte Aufgabenleistung übersetzen kann.

Empfohlene Tools

Mehr