Le framework d'inférence DeepInfer de DeepSeek a été publié en open source le 20 octobre 2026 : DeepSeek a placé le framework d'inférence qui fait tourner ses propres services de production à grande échelle dans son dépôt GitHub officiel, deepseek-ai/DeepInfer, sous licence Apache-2.0. Cette première version open source fournit l'inférence hors ligne, et le seul modèle actuellement pris en charge est DeepSeek-V4.1-Flash.
Ce qui a été publié, concrètement
La couche noyau regroupe les opérateurs maison de DeepSeek — FlashMLA, DeepGEMM, DeepEP, TileKernels et DeepSelect. Le moteur d'exécution prend en charge le parallélisme de données pour l'attention avec un parallélisme de contexte équilibré, ainsi que le parallélisme d'experts MoE avec équilibrage de charge EPLB. Côté décodage, on trouve DSpark avec vérification programmée par niveau de confiance et rejeu borné pour l'attention à fenêtre glissante. L'ordonnanceur asynchrone promet une planification par lots sans surcoût, et la liste des fonctions comprend aussi l'inférence invariante au lot, l'échantillonnage déterministe et les sorties structurées contraintes par expressions régulières, JSON Schema ou grammaires EBNF.
Performances, matériel et prérequis
Les graphiques de performance publiés mesurent le préremplissage sur 4 GPU SM100 et le décodage sur 64. Le matériel pris en charge comprend les GPU NVIDIA SM100 et les NPU Huawei Ascend 950, avec GCC 13 et Python 3.12 requis, plus CUDA 13 côté NVIDIA et CANN 9.2 côté Ascend. Le framework a été construit à l'origine principalement sur vLLM, avec des inspirations venues de SGLang et TensorRT-LLM — et la version DeepSeek-V4.1-Flash-1017 déjà couverte sur ce site est pour l'instant le seul modèle qu'il sert.
Ce qui n'a pas été publié est le plus dur à copier
Le dépôt est franc sur ses limites : un service d'inférence complet exige encore un système de cache KV, la séparation entre préremplissage et décodage (l'essentiel des fonctions moteur nécessaires est déjà implémenté) et l'équilibrage de charge entre répliques parallèles en données — aucun de ces éléments n'est inclus dans cette version. Autrement dit, l'extérieur reçoit le moteur et la boîte de vitesses, mais les conduites de carburant et le centre de contrôle restent à construire. Pour les équipes qui veulent servir elles-mêmes les modèles DeepSeek, plus besoin de régler les noyaux à partir de zéro. Pour les frameworks existants comme vLLM et SGLang, c'est la première occasion de comparer ligne par ligne les arbitrages du système de production de DeepSeek : où l'invariance au lot et le déterminisme valent leur coût en performance, et où l'ordonnancement asynchrone masque la charge CPU.
Pourquoi cette publication mérite attention
Ces deux dernières années, l'open source de DeepSeek consistait surtout en poids de modèles et en bibliothèques de noyaux isolées ; la couche framework n'était connue que de réputation. Publier l'ensemble du framework de production agit d'abord sur le coût d'inférence : les petites équipes qui déploient V4.1-Flash n'ont plus à partir de la configuration par défaut d'un framework généraliste. Il agit aussi sur l'écosystème Ascend — DeepInfer traite l'Ascend 950 comme une cible de premier plan, dans la continuité des portages Ascend des bibliothèques de noyaux déjà publiés par DeepSeek. Une note de lucidité : le dépôt a été créé le 16 octobre et ne propose pour l'instant que l'inférence hors ligne ; il reste donc une distance avant un service en ligne de niveau production. Savoir si la migration vaut l'effort dépendra du rythme des mises à jour et de la réactivité sur les problèmes signalés dans les prochaines semaines.
