Le calcul en temps d’inférence ne concerne pas la puissance de calcul dépensée pour l’entraînement, mais la quantité supplémentaire de calcul que le modèle est prêt à investir dans la réflexion, l’essai et le tri au moment où il répond réellement aux questions des utilisateurs. Le terme est en vogue ces derniers temps parce que le modèle de raisonnement a remis une vieille question sur la table : ne vaudrait-il pas mieux que le modèle ne « donne pas une réponse tout de suite » mais le laisse compter un peu plus ? La réponse est généralement oui, mais le récit sera plus compliqué.
Dans les modèles de chat traditionnels, les gens sont plus habitués à se concentrer sur l’échelle d’entraînement et la quantité de paramètres, comme si la force du modèle était principalement déterminée en usine. Après le lancement du modèle de raisonnement, l’industrie a commencé à se concentrer sur la question de « combien est compté à chaque fois après avoir quitté l’usine ». Autrement dit, le même modèle peut investir plus d’étapes d’inférence dans des tâches complexes et réduire la puissance de calcul lorsqu’il s’agit de tâches simples.
C’est proche de l’échelle du temps de test, mais ce n’est pas exactement la même chose. L’échelle du temps de test met l’accent sur la manière dont les performances peuvent être améliorées à mesure que les ressources augmentent lors de l’inférence. Le calcul en temps d’inférence est un concept plus holistique, qui met en lumière la question réelle de « combien réfléchir à chaque réponse » dans le déploiement et le produit. L’un ressemble davantage à une perspective de recherche, et l’autre à une perspective ingénierie et produit.
Pourquoi est-ce important ? Parce que cela change la façon dont les mannequins se font concurrence. Par le passé, on demandait souvent « quel modèle est le plus fort », mais aujourd’hui de nombreuses équipes posent une autre question : « lequel est plus fort avec le même budget » et « comment le même modèle se comporte-t-il en engrenages à basse, moyenne et haute inférence ». Cela signifie que le modèle n’est plus simplement une boîte noire avec vitesse fixe, coût fixe et capacité fixe, mais plutôt un système pouvant allouer la puissance de calcul selon la difficulté de la tâche.
Mais il existe un compromis très réaliste derrière cela : des délais plus longs signifient souvent une latence plus longue, une consommation de tokens plus élevée et des frais plus élevés. Pour les mathématiques, le code et la planification complexe, il est souvent utile d’investir dans le calcul en temps d’inférence ; Mais si c’est un tri du service client, une classification des intentions, un résumé simple, puis que le modèle « réfléchit », cela peut simplement être un gaspillage d’argent. Les produits véritablement matures ne remplissent souvent pas aveuglément le matériel de raisonnement, mais les allouent dynamiquement selon les tâches.
C’est pourquoi il n’existe pas de réponse simple à la question « le modèle de raisonnement est-il nécessairement meilleur ? » Souvent, ce n’est pas le modèle lui-même qui est plus divin, mais le fait qu’il est autorisé à dépenser plus de calculs sur des tâches clés en échange de la précision. En conséquence, l’amélioration observée par les utilisateurs provient non seulement des capacités du modèle, mais aussi de l’allocation budgétaire par inférence.
Ainsi, le calcul en temps d’inférence deviendra un mot à la mode, ce qui indique en grande partie que les gens commencent à considérer le modèle comme une ressource d’ordonnancement plutôt que comme un simple paquet de capacités statiques. La vraie question importante à l’ère des modèles de raisonnement n’est plus seulement « est-ce que ça va être », mais « est-ce que cela vaut la peine d’y réfléchir un moment ? »
