llm-d 1.0 a été présenté officiellement le 20 octobre 2026 à la PyTorch Conference North America, IBM Research annonçant la version sur son blog officiel. Ce projet d'inférence distribuée natif Kubernetes est maintenu principalement par Red Hat, IBM et Google, qui l'ont cofondé en 2025 avec CoreWeave et NVIDIA ; AMD, Cisco, Hugging Face, Intel, Lambda et Mistral AI ont depuis rejoint les contributeurs. L'enjeu de la 1.0 n'est pas un meilleur chiffre de benchmark, mais le passage d'une inférence qui fonctionne à une inférence que l'on peut exploiter dans la durée.
Ce que la 1.0 complète, c'est l'exploitation, pas une technique de plus
Les cinq techniques qui ont fait connaître llm-d — routage conscient du cache de préfixe, déchargement du cache KV, optimisation de l'inférence par lots, séparation du préremplissage et du décodage, parallélisme large des experts — restent inchangées dans la 1.0. Ce qui change, c'est la couche d'exploitation au-dessus : API stable, qualité de service multi-locataire, mises à niveau sans interruption et contrôle de flux qui empêche des charges de priorités différentes de se pénaliser sur une infrastructure partagée. Carlos Costa, Distinguished Engineer chez IBM Research et cofondateur de llm-d, le dit sans détour : la 1.0 vise à exploiter llm-d comme n'importe quel service critique, pas seulement à afficher des chiffres de démonstration.
Une même entrée, un traitement distinct pour les humains et les agents
Le trafic des services d'inférence en entreprise change de forme : derrière un point d'accès unique cohabitent des personnes qui attendent la réponse immédiate d'un assistant de code et des agents qui envoient des rafales de requêtes, marquent une pause pour utiliser des outils, puis reviennent. Le contrôle de flux et l'ordonnancement équitable de la 1.0 décident explicitement qui reçoit les ressources en premier lors des pics, et fixent les requêtes multi-tours sur la même réplique pour garder les caches de préfixe au chaud. Dans les tests d'IBM, le routeur conscient des préfixes a capté 97 % de la réutilisation de cache disponible sur une charge de programmation agentique, et une démonstration auto-hébergée a fait tourner 3 000 agents d'ingénierie logicielle en simultané pour un cinquième à un dixième du coût du service hébergé équivalent.
Une option neutre pour les équipes qui servent leurs propres modèles
llm-d ne remplace pas les moteurs d'inférence comme vLLM ou SGLang : il se place au-dessus d'eux et ajoute routage distribué et fonctions d'exploitation, le projet étant hébergé en bac à sable par la CNCF. Pour les équipes qui servent déjà des modèles sur leurs propres clusters Kubernetes, la 1.0 abaisse la barrière technique pour transformer des modèles à poids ouverts en services de production, et rend pilotables la destination du calcul et le taux réel de cache touché. Les limites doivent être dites : l'exploitation de Kubernetes reste un prérequis, et une petite équipe satisfaite de l'inférence gérée d'un fournisseur cloud ne rentabilisera pas forcément l'auto-hébergement.
