Les jetons peuvent être compris comme la « plus petite unité de travail » lorsque le modèle traite le texte. Ce n’est pas nécessairement un mot, un mot ou une ponctuation, mais plutôt un fragment découpé par le modèle lui-même. En anglais, un mot peut être divisé en plusieurs jetons, et en chinois, une phrase courte peut être divisée en plusieurs jetons.
Cela semble abstrait, mais cela affecte directement trois des aspects les plus réalistes : combien vous pouvez entasser, combien coûtera une conversation, et pourquoi le modèle tronque parfois un long texte. Parce qu’au lieu de comprendre le monde en « paragraphes », le modèle calcule les entrées et sorties en jetons.
Pourquoi les utilisateurs y sont toujours confrontés
- Lors du téléchargement d’un long document, le système affiche une limite de longueur, souvent due à l’absence de jetons.
- On a l’impression que ce n’est qu’un court paragraphe, mais le jeton lui-même est probablement déjà beaucoup.
- Certains modèles répondent plus courtement, pas forcément parce qu’ils ne veulent pas le dire, mais parce que le budget de jetons disponible est à manquer.
Beaucoup de gens entrent en contact avec des jetons pour la première fois et pensent à tort qu’il ne s’agit que d’une unité de facturation. En fait, c’est plutôt la « granularité linguistique » du modèle. Le modèle décompose d’abord le texte en jetons, puis les encode, les observe et les génère, donc les jetons sont aussi une condition préalable pour comprendre la fenêtre contextuelle. Pour les utilisateurs chinois, la ponctuation, les abréviations, les chiffres et les blocs de code peuvent rendre le nombre de jetons plus élevé que l’intuition. De ce fait, les jetons réels occupés par le même contenu chinois et anglais peuvent être assez différents.
Le jugement le plus pratique
Si vous travaillez sur le traitement de texte long, la base de connaissances et la conception de prompts, ne vous concentrez pas uniquement sur le nombre de mots, il vaut mieux prendre l’habitude de regarder les jetons. Surtout quand on mélange chinois et anglais, code, tableaux et beaucoup de ponctuation, le nombre de mots et le nombre de jetons ne sont souvent pas la même chose.
Résumé : Le jeton est l’unité de mesure que le modèle traite réellement le texte, et ce n’est qu’en le comprenant que nous pouvons vraiment comprendre le contexte, le coût et la limite de longueur.
