Die Inferenzoptimierung von Kimi K3 auf der AMD Instinct MI355X ist das Ergebnis einer technischen Analyse, die der offizielle vLLM-Blog am 16. Oktober 2026 veröffentlicht hat: Unter der Agentenlast AgentX liefert ein System aus acht MI355X-GPUs mit vLLM 24,4 % mehr Gesamttokens pro Sekunde und GPU als eine NVIDIA HGX B300 und – nach dem Kostenmodell des Berichts – 87,4 % mehr Tokens pro Dollar. Die Daten stammen aus den öffentlichen InferenceX-Kurven von SemiAnalysis, Benchmark-Stand 9. Oktober 2026.
Zuerst den Vergleichsmaßstab prüfen
Verglichen wird bei einer P90-Interaktivität von 50 Tokens pro Sekunde und Nutzer: Die MI355X bedient dort rund 7.567 Tokens/s/GPU, die B300 rund 6.083. Beide Chips bieten 288 GB HBM3E und 8 TB/s Spitzenbandbreite, und die Spitzenrechenleistung der B300 liegt sogar höher – der Abstand entsteht also im Software-Stack, nicht im Datenblatt. AgentX spielt echte Sitzungsverläufe von Coding-Agenten nach, mit theoretisch über 96 % wiederverwendbarem Präfix: genau die Bedingung, unter der diese Optimierung greift. Auf kurze Anfragen ohne Wiederverwendung lässt sich der Schluss nicht direkt übertragen.
Die Optimierung schneidet an drei Stellen Wiederholungen weg
Erstens der Cache: Früher hielt jede GPU eine vollständige Kopie des MLA-Verlaufs; mit achtfacher Decode-Kontext-Parallelität behält jede Karte nur ein Achtel, sodass der Cache-Fußabdruck eines Gesprächs mit 142.000 Tokens von etwa 1,96 GB auf rund 245 MB sinkt und überlaufender Zustand in den Host-Speicher ausgelagert wird. Zweitens die MoE-Rechnung: Die Ausgabeprojektion der gerouteten Experten lief früher achtmal, einmal pro GPU; durch das Aufteilen der Koordinaten berechnet jede Karte nur ihren Anteil, und die vorhandene All-Reduce setzt das volle Ergebnis wieder zusammen. Drittens Kernfusion und tote Kopien: 69 nutzlose Kopien pro Decodierungsschritt wurden entfernt, und mehrere serielle Kernel zu einzelnen Starts verschmolzen.
Was das für Einsatzentscheidungen bedeutet
Der Wert des Ergebnisses liegt nicht in einem einzelnen Benchmarksieg, sondern im Nachweis, dass die Tiefe der Abstimmung des Inferenz-Frameworks bei gleichem Modell auf anderer Chip-Plattform die Preis-Leistungs-Rangfolge neu schreiben kann. Das GPU-Stundenmodell des Berichts setzt die MI355X mit 1,50 Dollar gegen 2,26 Dollar für die B300 an; Kosten- und Durchsatzabstand zusammen ergeben die 87,4 % mehr Tokens pro Dollar. In der realen Beschaffung zählen zusätzlich Cloudpreise, Verfügbarkeit und eigene Cache-Trefferquoten. Für Teams, die Hardware für Agentendienste auswählen, lautet die konkrete Konsequenz: zuerst die Präfix-Wiederverwendung an eigenen Sitzungsverläufen messen, dann den Durchsatz des Gesamtstapels vergleichen – nicht nur die Spitzenwerte einer Chip-Tabelle.
