Together Compiler a été lancé le 4 novembre : Together AI confie l’optimisation de l’inférence à un essaim d’agents qui réécrivent les noyaux GPU pendant la nuit, les testent à plusieurs reprises et ne mettent en production que les versions vérifiées. Selon l’entreprise, quatre modèles ouverts compilés pendant 24 heures sur des puces NVIDIA Blackwell ont atteint jusqu’à 3 fois le débit des meilleurs moteurs ouverts existants. Ce qui compte, ce n’est pas seulement le chiffre, mais le changement de méthode : on passe d’un réglage manuel de plusieurs semaines par des chercheurs à un réajustement continu par des agents, au gré du trafic et du matériel.
Comment les agents réécrivent les noyaux : seules les versions vérifiées sont déployées
Together appelle cette approche l’inférence polymorphe, et Together Compiler en est la première mise en production. Des essaims d’agents proposent des modifications de noyaux pour l’ensemble de la passe avant d’un modèle, tandis qu’un moteur persistant recharge à chaud chaque candidat, mesure sa vitesse et vérifie son exactitude par rapport au moteur d’origine ; les noyaux gagnants sont consignés dans un registre partagé, de sorte que le modèle ou la puce suivante part de l’expérience accumulée plutôt que de zéro. Quand le modèle, le matériel ou la charge change, l’optimisation peut être relancée sans attendre qu’un chercheur se libère. L’équipe à l’origine du projet avait déjà construit FlashAttention et ThunderKittens ; cette fois, la recherche sur les noyaux devient un produit.
Les chiffres impressionnent, mais il faut vérifier les conditions de mesure
La page officielle donne plusieurs chiffres : à vitesse par utilisateur égale, quatre modèles sur Blackwell ont fourni jusqu’à 2,6 fois plus de jetons par GPU ; GLM a atteint jusqu’à 3,7 fois plus sur AMD MI355X et MiniMax M3 jusqu’à 2,7 fois plus sur AWS Trainium2 ; Llama-3.2-1B a battu un méganoyau écrit à la main par un expert sur H100 et B200. Dans un cas client, l’entreprise vocale Phonic indique que son délai médian avant la première parole a chuté de près de moitié en une nuit. Ce sont les résultats des propres tests de Together, mesurés par rapport aux « meilleurs moteurs ouverts » ou aux « meilleurs bancs d’essai publics » — pas une accélération universelle pour chaque déploiement ; le gain réel dépend du modèle, de la forme du trafic et de la combinaison matérielle. Les noyaux compilés sont déjà activés par défaut pour certains modèles serverless, dont GLM 5.3, GLM 5.3 Flash et DeepSeek V4.1 Flash, au même prix ; les points de terminaison dédiés exigent une demande d’accès à la bêta limitée, et l’optimisation en libre-service suivra. Together avait déjà lancé Together Link, qui permet à Claude Code et Codex de passer aux modèles ouverts ; ensemble, les deux initiatives font passer la facilité d’usage des modèles ouverts de la couche d’accès à la couche d’exécution. Pour les équipes qui exploitent des modèles ouverts, la question à suivre est de savoir si l’optimisation en libre-service apportera des gains comparables à plus petite échelle, et si la stabilité entre matériels tiendra face au trafic réel.
