DeepSeeks Inferenz-Framework DeepInfer wurde am 20. Oktober 2026 als Open Source veröffentlicht: DeepSeek hat das Inferenz-Framework, das seine eigenen großskaligen Produktivdienste trägt, in seinem offiziellen GitHub-Repository deepseek-ai/DeepInfer unter der Apache-2.0-Lizenz bereitgestellt. Die erste quelloffene Version bietet Offline-Inferenz, und das derzeit einzige unterstützte Modell ist DeepSeek-V4.1-Flash.
Was genau veröffentlicht wurde
Die Kernel-Schicht bündelt DeepSeeks eigene Operatoren — FlashMLA, DeepGEMM, DeepEP, TileKernels und DeepSelect. Die Laufzeit unterstützt Attention-Datenparallelismus mit ausgewogenem Kontextparallelismus sowie MoE-Expertenparallelismus mit EPLB-Lastausgleich. Auf der Dekodierseite gibt es DSpark mit vertrauensgesteuerter Verifikation und begrenzter Wiedergabe für Sliding-Window-Attention. Der asynchrone Scheduler verspricht Batch-Planung ohne Overhead, und die Funktionsliste umfasst außerdem batchinvariante Inferenz, deterministisches Sampling und strukturierte Ausgaben, die per Regex, JSON Schema oder EBNF eingeschränkt werden.
Leistung, Hardware und Voraussetzungen
Die veröffentlichten Leistungsdiagramme messen Prefill auf 4 SM100-GPUs und Dekodierung auf 64. Unterstützte Hardware sind NVIDIA-SM100-GPUs und Huawei-Ascend-950-NPUs, vorausgesetzt werden GCC 13 und Python 3.12, dazu CUDA 13 auf NVIDIA-Seite und CANN 9.2 auf Ascend-Seite. Das Framework wurde ursprünglich hauptsächlich auf vLLM aufgebaut, mit zusätzlichen Anregungen von SGLang und TensorRT-LLM — und die auf dieser Website behandelte Version DeepSeek-V4.1-Flash-1017 ist derzeit das einzige Modell, das es bedient.
Was fehlt, ist am schwersten zu kopieren
Das Repository benennt seine Grenzen offen: Ein vollständiger Inferenzdienst braucht weiterhin ein KV-Cache-System, die Trennung von Prefill und Dekodierung (die meisten dafür nötigen Engine-Funktionen sind bereits implementiert) und Lastausgleich zwischen datenparallelen Replikaten — nichts davon ist in dieser Veröffentlichung enthalten. Außenstehende erhalten also Motor und Getriebe, aber Kraftstoffleitungen und Leitstelle müssen sie selbst bauen. Für Teams, die DeepSeek-Modelle selbst betreiben wollen, entfällt das mühsame Kernel-Tuning von Grund auf. Für bestehende Frameworks wie vLLM und SGLang ist es die erste Gelegenheit, die Abwägungen in DeepSeeks Produktivsystem Zeile für Zeile zu vergleichen: Wo lohnen sich Batchinvarianz und Determinismus ihren Leistungspreis, und wo verbirgt asynchrone Planung den CPU-Overhead?
Warum diese Veröffentlichung Beachtung verdient
In den vergangenen zwei Jahren bestand DeepSeeks Open-Source-Arbeit vor allem aus Modellgewichten und einzelnen Kernel-Bibliotheken; die Framework-Schicht kannte man nur dem Ruf nach. Die Veröffentlichung des gesamten Produktiv-Frameworks wirkt sich zuerst auf die Inferenzkosten aus: Kleinere Teams, die V4.1-Flash einsetzen, müssen nicht mehr mit der Standardkonfiguration eines Allzweck-Frameworks beginnen. Sie wirkt sich auch auf das Ascend-Ökosystem aus — DeepInfer behandelt den Ascend 950 als Ziel erster Klasse und setzt damit die Linie von DeepSeeks früheren Ascend-Portierungen seiner Kernel-Bibliotheken fort. Eine nüchterne Anmerkung: Das Repository wurde am 16. Oktober erstellt und bietet bislang nur Offline-Inferenz, bis zu einem produktionsreifen Online-Dienst ist es noch ein Stück Weg. Ob sich der Migrationsaufwand lohnt, wird sich an Aktualisierungstakt und Reaktionsgeschwindigkeit bei Problemen in den nächsten Wochen zeigen.
