Thinking Machines Lab a publié le 13 novembre sur son blog officiel une recette d'entraînement 4 bits de bout en bout : avec NVFP4 sur le matériel NVIDIA GB300, l'ensemble du pipeline, du pré-entraînement à l'apprentissage par renforcement, tourne 8 % plus vite en pré-entraînement et 20 % plus vite en RL, pour seulement environ 2 % de perte d'efficacité de calcul. Le mot clé est « de bout en bout » : au lieu de s'entraîner en haute précision puis de quantifier les poids, le modèle est conçu pour le 4 bits dès le premier jour. Inkling 2 Small, avec ses 594 milliards de paramètres, est le plus grand modèle connu à avoir été entraîné ainsi de bout en bout.
Comment NVFP4 tourne sur le GB300
La recette mélange trois précisions. Dans la passe avant, les couches d'experts MoE tournent en NVFP4, avec 4,5 bits en moyenne par valeur, et atteignent 15 PFLOPS sur le GB300 — trois fois MXFP8 et six fois BF16. La passe arrière utilise MXFP8 avec arrondi stochastique pour limiter le biais des gradients, et les 16,6 % de couches finales restent en MXFP8 au lieu de descendre à 4 bits. La communication entre couches MoE est elle aussi comprimée, ramenée au format S2F6 par transformée de Hadamard aléatoire. Selon Thinking Machines Lab, la recette ne demande aucun ajustement de paramètres sur ses plus gros travaux, du fine-tuning supervisé à l'apprentissage par renforcement.
Le coût de l'accélération
Le prix est d'environ 2 % d'efficacité de calcul : le modèle demande un peu plus de calcul pour atteindre la même perte, sans effet notable sur la métrique de récompense. Mais tous ces chiffres viennent du laboratoire lui-même : ni code ni configuration n'ont été publiés, et aucune reproduction indépendante n'existe encore. Le public concerné est aussi restreint — la recette est liée aux puces Blackwell de la classe GB300, seuls les laboratoires dotés de grands clusters peuvent l'utiliser ; les développeurs ordinaires et les GPU grand public sont hors de portée.
Deux choses comptent ensuite : que Thinking Machines Lab publie ou non le code et la configuration d'entraînement, et qu'un autre laboratoire reproduise des accélérations similaires sur le GB300. Si la reproduction tient, l'entraînement 4 bits passera du savoir-faire d'un seul laboratoire au standard de l'industrie, et les factures d'entraînement des modèles frontières seront recalculées ; sinon, cela restera un article de blog bien écrit.