ToolNavs 发现实用AI工具
提交工具 登录
返回AI资讯
Thinking Machines Lab 公开端到端 4-bit 训练:预训练提速 8%,强化学习快 20%

Thinking Machines Lab 公开端到端 4-bit 训练:预训练提速 8%,强化学习快 20%

AI资讯 • Admin • • 23 次浏览

Thinking Machines Lab 11 月 13 日在官方博客公开端到端 4-bit 训练方案:在英伟达 GB300 上,NVFP4 格式跑完从预训练到强化学习的全程,预训练提速 8%,强化学习提速 20%,计算效率只损失约 2%。关键在“端到端”三字:不是训完再把高精度权重压成 4-bit,而是训练第一天就按 4-bit 设计,594B 参数的 Inkling 2 Small 是目前已知最大的全程 4-bit 训练模型。

NVFP4 在 GB300 上怎么跑

方案把三种精度混着用。前向计算里,MoE 专家层用 NVFP4,每个值平均只占 4.5-bit,在 GB300 上能跑到 15 PFLOPS,是 MXFP8 的 3 倍、BF16 的 6 倍;反向用 MXFP8,配合随机舍入压住梯度偏差;最后 16.6% 的层留在 MXFP8,不下探到 4-bit。MoE 层之间的通信也做了压缩,经随机 Hadamard 变换压成 S2F6 格式。Thinking Machines Lab 称,这套配方在自家最大规模任务里不用改参数,从监督微调到强化学习全程通用。

提速的代价与边界

代价是约 2% 的计算效率损失,模型要多花一点算力才能达到同样的损失值,奖励指标则没有可察觉的影响。不过这些数字都来自实验室自述:没有公开代码与配置,也还没有第三方复现。受益面也很窄——配方绑定 GB300 这类 Blackwell 芯片,只有拥有大规模集群的实验室才能用上,普通开发者与消费级显卡不在受益范围。

下一步看两件事:Thinking Machines Lab 是否公开训练代码与配置,以及有没有其他实验室在 GB300 上复现出相近的提速。如果复现成立,4-bit 训练会从个别实验室的手艺变成行业默认选项,前沿模型的训练账单也会跟着重算;复现失败,它就只是一篇写得漂亮的博客。

推荐工具

更多