ToolNavs 发现实用AI工具
提交工具 登录
返回AI资讯
MAI-Base-2 预训练完成:2.8T 参数,效率号称高出 DeepSeek 数倍

MAI-Base-2 预训练完成:2.8T 参数,效率号称高出 DeepSeek 数倍

AI资讯 • Admin • • 13 次浏览

MAI-Base-2 的预训练已经完成。2026年10月15日,Microsoft AI 在官方博文《Frontier Pre-training at Microsoft AI》中公布了这款基础模型的细节:它是一个混合专家模型,总参数 2.8 万亿,每次推理只激活约 800 亿参数。在微软自备的留出评测上,它的每字节比特数低于所有受测的开源权重模型。

先把效率口径说清楚

最受关注的数字是效率。微软称,按其缩放定律拟合估算,达到 DeepSeek-V4-Pro-Base 相同的评测水平,MAI-Base-2 的训练配方所需算力只有对方的约四分之一到十二分之一。需要注意,这不是两款模型在同一算力下同场跑出的成绩,而是用缩放曲线反推的配方效率;部分对比对象只有后训练版本,微软在文中也标注了这一限制。把口径看清,这个数字说明的其实是训练方法在进步,而不是某次跑分的胜负。

38 天、1.6 万张卡跑出来的配方

这轮训练在 2026 年 8 月至 9 月进行,用了 16000 张 GB200,跑了 38 天,平均算力利用率 21%,有效训练时间占比 89%。支撑它的有三件事:带源缩放的缩放阶梯,用小模型实验预测大模型表现;让每层都用混合专家,无丢弃的专家调度把专家层利用率从 24% 提到 35%;以及用 Muon 优化器替代常见的 AdamW。微软强调训练数据来自自有渠道的原生数据,不做来自其他模型的蒸馏。

为什么微软要自建这条管线

MAI-Base-2 目前还在后训练阶段,面向用户的版本和完整成绩尚未公布。微软在文中给出的商业路径是通过 Foundry 向可信伙伴授权权重。对客户来说,卖点不只是参数规模,而是数据来源可追溯、训练与推理基础设施由同一方调优。换句话说,微软想握住的不再只是分发入口,还包括前沿模型本身的生产过程;接下来要看的,是后训练版本能否把预训练阶段的效率优势兑现成真实任务表现。

推荐工具

更多