ToolNavs Outils IA à découvrir
Proposer Connexion
Retour à Encyclopédie de l’IA
Qu'est-ce qu'un moteur d'inférence ? Il fait tourner le modèle — mal choisi, c'est de l'argent gaspillé

Qu'est-ce qu'un moteur d'inférence ? Il fait tourner le modèle — mal choisi, c'est de l'argent gaspillé

Encyclopédie de l’IA • Admin • • 21 vues

Un moteur d'inférence est la couche logicielle qui fait réellement tourner un grand modèle : il reçoit les poids du modèle et les requêtes des utilisateurs, et gère la file d'attente, la planification du calcul, la mémoire et la sortie des résultats. Sans lui, un modèle n'est qu'un amas de fichiers de paramètres qui ne peut pas s'exécuter ; avec le mauvais moteur, le même GPU peut devenir plusieurs fois plus lent et plus coûteux. Une distinction d'abord : le modèle décide de ce qu'il sait faire, le moteur d'inférence décide à quelle vitesse et à quel coût il le fait.

Ce que calculent les trois moteurs principaux

vLLM, SGLang et TensorRT-LLM sont aujourd'hui les trois moteurs d'inférence open source les plus utilisés, et ils font tous la même chose : rendre la génération token par token plus dense et plus rapide. Deux mécanismes clés comptent. D'abord, le batching continu : les nouvelles requêtes n'attendent plus que tout le lot précédent soit terminé — elles entrent au fur et à mesure, si bien que le GPU ne reste plus inactif à attendre les fins de lot. Ensuite, PagedAttention, qui gère le cache KV comme un système d'exploitation gère sa mémoire paginée, ce qui réduit fortement la fragmentation mémoire. SGLang ajoute RadixAttention, qui réutilise les débuts de prompt répétés dans les conversations multi-tours grâce à un arbre de préfixes ; TensorRT-LLM s'appuie sur les optimisations du compilateur de NVIDIA pour pousser les opérateurs au plus vite sur ses propres GPU.

Trois idées reçues fréquentes — à ne plus confondre

La première est de prendre un moteur d'inférence pour un produit de chat. Il n'a ni interface, ni mémoire, ni recherche web — il reste une couche applicative entre lui et l'utilisateur, donc l'installer ne donne pas un assistant conversationnel. La deuxième est de croire qu'un changement de moteur améliore la qualité des réponses : le moteur ne gouverne que la vitesse et le coût ; avec les mêmes poids, les réponses restent pour l'essentiel identiques. La troisième est de penser que seuls les très gros modèles en ont besoin : dès que la concurrence augmente, la file d'attente et la mémoire freinent aussi les petits modèles — la valeur du moteur apparaît dès que les requêtes s'accumulent.

Dans quels scénarios un moteur d'inférence vaut-il le coup ?

Si vous exploitez votre propre service d'API, devez servir des dizaines ou des centaines de requêtes simultanées, ou voulez faire tourner plusieurs modèles sur une seule carte, commencez par les moteurs d'inférence ; si vous ne lancez des modèles qu'occasionnellement en local pour écrire du code, un outil prêt à l'emploi comme Ollama est plus simple. Au moment de choisir, ne regardez pas que les benchmarks : vérifiez d'abord la prise en charge de votre format de modèle et de votre quantification, puis l'empreinte mémoire et la latence, et seulement ensuite l'activité de la communauté. Pour approfondir les mécanismes, commencez par l'entrée du site Qu'est-ce que le traitement par lots continu ?, puis lisez l'analyse pratique Pour quelles équipes les vLLM sont-elles adaptées ?.

Outils Recommandés

Plus