L’échelle en temps de test peut être comprise comme offrant au modèle plus de budget d’inférence, plus de tentatives ou plus d’espace de réflexion lorsqu’il répond réellement à une question, en échange de meilleurs résultats. La raison pour laquelle il est populaire est que beaucoup ont constaté que la capacité du modèle dépend non seulement de sa taille au moment de l’entraînement, mais aussi de « votre volonté de répondre au moment et de le calculer pendant un certain temps ».
Qu’est-ce qu’elle développe ?
- Cela peut être une étape d’inférence plus longue pour éviter que le modèle ne tire des conclusions trop rapidement.
- Cela peut être plusieurs échantillons, plusieurs chemins candidats, puis choisir un meilleur.
- Il peut aussi s’agir d’un outil externe, d’un vérificateur ou d’un auto-contrôle pour corriger les erreurs selon le modèle le pense.
Pourquoi est-ce différent des « paramètres de tas » traditionnels ?
L’idée traditionnelle est plutôt celle de rendre le modèle plus grand pendant l’entraînement ; L’échelle en temps de test s’intéresse à la manière d’utiliser plus de puissance de calcul et à des étapes de l’étape d’inférence pour supprimer le potentiel des modèles existants. Ce n’est pas un substitut d’entraînement, mais cela influence un jugement réaliste sur pourquoi certains modèles sont similaires en réponse simple à des questions mais très en retard sur le raisonnement complexe.
Sa valeur et son coût
| Avantages | Coût |
|---|---|
| Les questions complexes sont généralement plus stables | Plus lent et plus cher |
| Plus facile à faire pour l’auto-examen | Le lien d’inférence est plus difficile à contrôler |
| Il peut « relever » un peu le modèle moyen | Cela ne signifie pas que toutes les questions valent la peine |
Ainsi, la mise à l’échelle en temps de test est très populaire, non pas parce que tout le monde n’aime soudainement plus les grands modèles, mais parce que l’industrie commence à faire face à un problème plus sérieux : la capacité n’est pas seulement entraînée, mais peut aussi « changer un peu plus de puissance de calcul et un peu plus de temps » dans la raisonnement. C’est pourquoi « le modèle devient plus fort après un peu plus de réflexion » semble être de la magie, mais en réalité il devient de plus en plus ingénieur.
