L'optimisation de l'inférence de Kimi K3 sur AMD Instinct MI355X est le résultat publié dans une analyse technique du blog officiel de vLLM le 16 octobre 2026: sous la charge d'agents AgentX, un système de huit GPU MI355X sous vLLM délivre 24,4 % de tokens totaux par seconde et par GPU de plus qu'un NVIDIA HGX B300, et 87,4 % de tokens par dollar selon le modèle de coût retenu dans le rapport. Les données proviennent des courbes publiques InferenceX de SemiAnalysis, avec un instantané de benchmark daté du 9 octobre 2026.
Vérifier d'abord la base de comparaison
La comparaison se fait à une interactivité P90 de 50 tokens par seconde et par utilisateur, où la MI355X sert environ 7 567 tokens/s/GPU contre environ 6 083 pour la B300. Les deux puces partagent 288 Go de HBM3E et 8 To/s de bande passante de pointe, et le calcul de pointe de la B300 est même supérieur: l'écart vient donc de la pile logicielle, pas de la fiche technique. AgentX rejoue de vraies traces de sessions d'agents de code, avec une réutilisation théorique des préfixes supérieure à 96 % — exactement la condition où cette optimisation paie; la conclusion ne se transpose pas telle quelle aux charges de requêtes courtes sans réutilisation.
L'optimisation coupe les répétitions à trois endroits
D'abord le cache: chaque GPU stockait une copie complète de l'historique MLA; avec un parallélisme de contexte de décodage en huit, chaque carte n'en garde qu'un huitième, ce qui ramène l'empreinte d'une conversation de 142 000 tokens d'environ 1,96 Go à environ 245 Mo, l'état excédentaire étant déchargé vers la mémoire hôte. Ensuite le calcul MoE: la projection de sortie des experts routés tournait huit fois, une par GPU; en répartissant les coordonnées, chaque carte ne calcule que sa part et la réduction collective existante reconstitue le résultat complet. Enfin la fusion de noyaux et les copies mortes: 69 copies inutiles par étape de décodage ont été supprimées et plusieurs noyaux en série fusionnés en des lancements uniques.
Ce que cela change pour les choix de déploiement
L'intérêt du résultat n'est pas une victoire ponctuelle en benchmark, mais la preuve que, pour un même modèle sur une autre plateforme de puces, la profondeur d'ajustement du framework d'inférence peut réécrire le classement coût-performance. Le modèle de coût horaire du rapport place la MI355X à 1,50 dollar contre 2,26 dollars pour la B300, et l'écart de coût ajouté à l'écart de débit produit ces 87,4 % de tokens par dollar en plus; un achat réel dépendra aussi des prix cloud, de la disponibilité et de vos propres taux de succès de cache. Pour les équipes qui choisissent le matériel de services d'agents, l'action concrète à retenir: mesurer d'abord la réutilisation des préfixes sur vos propres traces de sessions, puis comparer le débit de la pile complète, et non les seuls chiffres de pointe d'un tableau de puces.
