Les jetons de raisonnement peuvent être compris comme la partie des jetons que le modèle consomme pour compléter le raisonnement interne avant de donner une réponse finale. Ce n’est pas exactement la même chose que les jetons d’entrée et de sortie que vous voyez directement, car de nombreux processus d’inférence ne sont pas entièrement affichés à l’utilisateur, mais ils occupent tout de même de l’espace contextuel et affectent la latence, les frais et le débit global. Ainsi, de plus en plus d’équipes ont récemment commencé à se concentrer uniquement sur les jetons de raisonnement, non seulement pour des détails techniques, mais aussi parce que cela est directement lié à la valeur ou le coût du modèle d’inférence.
Par le passé, tout le monde regardait les coûts des jetons et se concentrait davantage sur les entrées et les sorties. Après la sortie du modèle de raisonnement, la situation a changé. Une réponse semble ne signifier que quelques centaines de mots, mais le modèle a peut-être utilisé des milliers de jetons derrière le raisonnement interne. En conséquence, vous constaterez que certaines tâches ne semblent pas avoir une réponse longue, mais la facture est fortement gonflée, et ce sont souvent les jetons de raisonnement qui consomment vraiment le budget.
Pourquoi est-ce important ? Parce que cela permet à l’équipe de comprendre plus précisément « où le modèle dépense son argent » pour la première fois. Si une tâche possède des jetons de raisonnement élevés, cela peut indiquer que le problème est complexe, ou bien indiquer que l’invite est floue, que des appels d’outils sont utilisés pour revenir en boucle, et que la gestion du contexte est mauvaise, ce qui fait que le modèle se répète sans cesse. En d’autres termes, cette mesure n’est pas seulement un problème de facturation, mais aussi un indice de réglage.
Beaucoup pensent que plus il y a de jetons de raisonnement, mieux c’est, comme si cela signifiait que le modèle réfléchit plus profondément. Pas forcément. Plus de jetons de raisonnement peuvent conduire à une plus grande précision, mais cela peut aussi être simplement inefficace. Un système mature ne poursuit généralement pas une « pensée infinie », mais contrôle la charge de raisonnement dans une plage raisonnable sous prétexte d’une résolution suffisante des problèmes. Sinon, le modèle est intelligent et la facture de service explose en premier.
Un autre point souvent négligé est que les jetons de raisonnement sont encombrés par la fenêtre contextuelle. Si les tâches complexes laissent trop peu de place au modèle pour réfléchir, la performance peut en être affectée. Mais si le contexte est déjà rempli et que le modèle est inféré, la pression et le coût de la fenêtre augmenteront. Ce n’est donc pas un champ de facturation unique, mais un problème d’allocation des ressources dans la conception du système.
Cette métrique est particulièrement importante pour les équipes qui travaillent en tant qu’agents et les flux de travail complexes. Parce que les appels d’outils en plusieurs étapes, la planification continue et la connexion d’état avant et après les appels de fonction amplifient le rôle des jetons de raisonnement. Si vous ne regardez pas et ne regardez que la qualité de la réponse finale, il est facile d’ignorer que le système « calcule durement » les résultats de manière non durable.
Les tokens de raisonnement sont la nouvelle mesure car l’industrie commence à utiliser sérieusement des modèles d’inférence, et pas seulement à démontrer à quel point ils sont intelligents. Lorsque le modèle passe de la démo à une vraie entreprise, la question de savoir si le coût de la réflexion peut être clairement visible et contrôlé devient une question plus réaliste que « allez-vous y réfléchir ? »
