DeepInfer ist das Inferenz-Framework, das DeepSeek auf GitHub veröffentlicht hat – Organisationsname deepseek-ai, Projektname DeepInfer, lizenziert unter Apache 2.0. Es beschreibt sich selbst als das Inferenz-Framework hinter DeepSeeks großflächigen Produktionsdiensten und unterstützt zur Veröffentlichung nur ein einziges Modell: DeepSeek-V4.1-Flash. Das Urteil vorweg: Wer studieren will, wie DeepSeek Inferenz in großem Maßstab betreibt, für den lohnt sich die Lektüre; wer es direkt als Dienst nach außen betreiben will, muss die fehlenden Teile selbst ergänzen.
Was das offizielle Repository enthält
Das Repository enthält Kernel, die DeepSeek bereits nach und nach quelloffen gemacht hat, darunter FlashMLA, DeepGEMM und DeepEP, dazu neue, in TileLang geschriebene Kernel; das spekulative Dekodierungsverfahren heißt DSpark, und strukturierte Ausgaben werden unterstützt. Das Framework ist aus vLLM hervorgegangen und hat auch Ideen aus SGLang und TensorRT-LLM aufgenommen. Die Hardwareunterstützung umfasst genau zwei Arten: NVIDIA-SM100-Rechenzentrums-GPUs dieser Generation sowie Huawei Ascend 950. Die Umgebungsanforderungen sind konkret: Linux, GCC 13 oder neuer, Python 3.12, CUDA 13 auf der NVIDIA-Route und CANN 9.2 auf der Ascend-Route. Die Standardgewichte sind DeepSeek-V4.1-Flash-1017 auf Hugging Face und werden beim ersten Lauf automatisch heruntergeladen.
Drei Dinge, die das Repository nicht enthält
DeepSeek schreibt in der eigenen Beschreibung des Repositorys klar, dass ein vollständiger Inferenzdienst noch drei Teile braucht, die diesmal nicht veröffentlicht wurden: ein Key-Value-Cache-System, die Infrastruktur, um Prefill und Decode auf verschiedene Maschinenpools aufzuteilen, sowie Lastverteilung über datenparallele Replikate. Das Repository liefert also den Inferenzkern, keinen sofort einsetzbaren Produktionsdienst. Die offiziellen Angaben – ein einzelner Cluster verarbeite 155 Billionen Token am Tag und erziele in Schwachlastzeiten 38 US-Dollar Umsatz pro Karte und Stunde – stammen von DeepSeek selbst und sind nicht unabhängig geprüft; behandeln Sie sie als Anhaltspunkte, nicht als Versprechen für Ihre eigene Bereitstellung.
Bereitstellungskosten und echte Fallstricke
Beginnen Sie mit der Hardware-Hürde: Gewöhnliche Notebooks und Consumer-GPUs liegen außerhalb des unterstützten Bereichs, der Einstieg sind also Rechenzentrums-GPUs oder Ascend-Karten plus passende Treiber und eine Build-Umgebung – für einzelne Entwickler scheidet ein lokaler Betrieb damit praktisch aus. Es gibt drei Fallstricke: Das Projekt ist weniger als einen Monat alt, Dokumentation und Versionen ändern sich noch schnell, und wer ein altes Tutorial kopiert, läuft leicht ins Leere; nur das eine Modell V4.1-Flash wird unterstützt, ein Modellwechsel erfordert also ein anderes Framework; und um die fehlenden Cache- und Lastverteilungsteile zu ergänzen, muss man den gesamten Code verstehen. Es eignet sich für Ingenieurinnen, Ingenieure und Teams, die Inferenzdienste betreiben und Inferenz auf Produktionsniveau lernen wollen; es eignet sich nicht für Menschen, die nur ein Modell aufrufen wollen – die DeepSeek-API oder schlichtes vLLM ist deutlich weniger Aufwand.
