Together Compiler ist am 4. November gestartet. Together AI übergibt die Inferenz-Optimierung einem Schwarm von Agenten: Sie schreiben GPU-Kernel über Nacht neu, messen sie wiederholt und bringen nur verifizierte Versionen in die Produktion. Nach Angaben des Unternehmens erreichten vier offene Modelle nach 24 Stunden Kompilierung auf NVIDIA-Blackwell-Chips bis zum 3-Fachen des Durchsatzes der besten bisherigen Open-Engines. Bemerkenswert ist nicht nur die Zahl, sondern der Wandel in der Art, wie Inferenz-Deployments abgestimmt werden – weg vom wochenlangen Hand-Tuning durch Forschende, hin zu Agenten, die kontinuierlich nachjustieren, wenn sich Traffic und Hardware ändern.
So schreiben die Agenten Kernel neu: Nur verifizierte Versionen kommen durch
Together nennt den Ansatz polymorphe Inferenz, Together Compiler ist seine erste produktive Umsetzung. Agentenschwärme schlagen Kernel-Änderungen für den gesamten Forward-Pass eines Modells vor, während eine persistente Engine jeden Kandidaten per Hot-Reload schnell austauscht, die Geschwindigkeit misst und die Korrektheit gegen die Original-Engine prüft; siegreiche Kernel landen in einer gemeinsamen Registry, sodass das nächste Modell oder der nächste Chip von den gesammelten Erfahrungen startet statt bei null. Ändert sich Modell, Hardware oder Workload, kann die Optimierung erneut laufen, ohne auf freie Zeit von Forschenden zu warten. Das Team dahinter hat zuvor FlashAttention und ThunderKittens gebaut; diesmal wird Kernel-Forschung zum Produkt.
Die Zahlen beeindrucken – aber man muss die Messbedingungen prüfen
Die offizielle Seite nennt mehrere Werte: Bei gleicher Geschwindigkeit pro Nutzer lieferten vier Modelle auf Blackwell bis zu 2,6-mal so viele Tokens pro GPU; GLM erreichte auf AMD MI355X bis zu 3,7-mal so viel, MiniMax M3 auf AWS Trainium2 bis zu 2,7-mal so viel; Llama-3.2-1B schlug auf H100 und B200 einen von Experten handgeschriebenen Megakernel. In einem Kundenbeispiel berichtet das Sprachunternehmen Phonic, seine mediane Zeit bis zur ersten Sprachausgabe sei über Nacht um fast die Hälfte gesunken. Das alles sind Together-eigene Benchmark-Ergebnisse, gemessen an den „besten Open-Engines“ oder „besten öffentlichen Benchmarks“ – keine allgemeine Beschleunigung für jedes Deployment; der tatsächliche Gewinn hängt von Modell, Traffic-Form und Hardware-Kombination ab. Kompilierte Kernel sind bereits standardmäßig für einige Serverless-Modelle aktiv, darunter GLM 5.3, GLM 5.3 Flash und DeepSeek V4.1 Flash, zum gleichen Preis; dedizierte Endpunkte erfordern eine Bewerbung für die begrenzte Beta, Self-Service-Optimierung folgt später. Together hat zuvor Together Link veröffentlicht, mit dem Claude Code und Codex auf offene Modelle umsteigen können; zusammengenommen schieben die beiden Schritte die Nutzbarkeit offener Modelle von der Zugangsebene auf die Ausführungsebene. Für Teams, die offene Modelle betreiben, ist nun zu beobachten, ob die Self-Service-Optimierung auch in kleinerem Maßstab ähnliche Gewinne bringt und ob die hardwareübergreifende Stabilität echtem Traffic standhält.
