DeepInfer est le cadriciel d’inférence publié par DeepSeek sur GitHub, sous le nom d’organisation deepseek-ai et le nom de projet DeepInfer, sous licence Apache 2.0. Il se décrit comme le cadriciel d’inférence derrière les services de production à grande échelle de DeepSeek, et ne prend en charge à sa sortie qu’un seul modèle : DeepSeek-V4.1-Flash. Le verdict d’abord : si vous voulez étudier comment DeepSeek fait de l’inférence à grande échelle, il vaut la lecture ; si vous voulez le prendre tel quel pour servir du trafic, les pièces manquantes sont à compléter vous-même.
Ce que contient le dépôt officiel
Le dépôt contient des noyaux que DeepSeek avait déjà publiés en source ouverte, dont FlashMLA, DeepGEMM et DeepEP, ainsi que de nouveaux noyaux écrits en TileLang ; le schéma de décodage spéculatif s’appelle DSpark, et la sortie structurée est prise en charge. Le cadriciel est issu de vLLM et reprend aussi des idées de SGLang et de TensorRT-LLM. La prise en charge matérielle couvre exactement deux types : les GPU de centre de données NVIDIA SM100 de cette génération et le Huawei Ascend 950. Les exigences d’environnement sont précises : Linux, GCC 13 ou plus récent, Python 3.12, CUDA 13 côté NVIDIA et CANN 9.2 côté Ascend. Les poids par défaut sont DeepSeek-V4.1-Flash-1017 sur Hugging Face, téléchargés automatiquement au premier lancement.
Trois choses que le dépôt ne contient pas
DeepSeek indique clairement dans la description du dépôt qu’un service d’inférence complet a encore besoin de trois parties qui n’ont pas été publiées cette fois : un système de cache clé-valeur, l’infrastructure pour répartir le pré-remplissage et le décodage sur des parcs de machines distincts, et l’équilibrage de charge entre répliques parallèles en données. Autrement dit, le dépôt fournit le cœur d’inférence, pas un service de production prêt à l’emploi. Les chiffres officiels — un seul cluster traitant 155 billions de jetons par jour et 38 dollars de revenu par carte et par heure en heures creuses — viennent de DeepSeek lui-même et n’ont pas été vérifiés indépendamment ; considérez-les comme des points de repère, pas comme des promesses pour votre propre déploiement.
Coût de déploiement et vrais écueils
Commencez par la barrière matérielle : les ordinateurs portables ordinaires et les GPU grand public sont hors périmètre, le point de départ est donc constitué de GPU de centre de données ou de cartes Ascend, plus les pilotes correspondants et un environnement de compilation, ce qui exclut l’exécution locale pour la plupart des développeurs individuels. Il y a trois écueils : le projet a moins d’un mois, la documentation et les versions évoluent encore vite, et recopier un ancien tutoriel peut tout simplement échouer ; seul le modèle V4.1-Flash est pris en charge, donc changer de modèle impose de trouver un autre cadriciel ; et combler les parties manquantes de cache et d’équilibrage exige de lire l’intégralité du code. Il convient aux ingénieurs et aux équipes qui exploitent des services d’inférence et veulent apprendre l’inférence de niveau production ; il ne convient pas aux personnes qui veulent seulement appeler un modèle — l’API DeepSeek ou vLLM tout court est bien moins contraignant.
