La self-consistency est une stratégie de décodage, pas un nouveau modèle, et elle ne nécessite aucun entraînement supplémentaire. Elle fait échantillonner par le modèle plusieurs chemins de raisonnement différents pour le même problème, en utilisant le chain-of-thought, puis procède à un vote majoritaire sur les réponses finales de chaque chemin ; la réponse qui recueille le plus de voix est la réponse finale. Pour les tâches dont les réponses peuvent être comparées, comme les mathématiques et les questions à choix multiples, elle est souvent plus précise qu'un seul passage — mais elle choisit la réponse que le modèle lui-même donne le plus souvent ; ce n'est pas une vérification externe.
Calculer plusieurs fois puis voter : comment se déroulent les trois étapes ?
On commence par guider le modèle avec des exemples de chain-of-thought, puis on remplace le décodage glouton par un échantillonnage avec température, afin d'échantillonner des chemins de raisonnement variés à partir du décodeur, et enfin on regroupe les réponses finales de tous les chemins et on retient la plus fréquente. Dans l'article, PaLM-540B a été testé avec 40 chemins échantillonnés : sur GSM8K, un test de mathématiques de niveau primaire, la précision est passée de 56,5 % à 74,4 %, soit une hausse de 17,9 points de pourcentage ; SVAMP a progressé de 11,0 points, StrategyQA de 6,4 points et ARC-challenge de 3,9 points. Les chemins corrects mènent souvent à la même réponse par des voies différentes, tandis que les chemins erronés se trompent chacun à leur façon ; la réponse la plus fréquente constitue donc un signal de sélection efficace.
En quoi diffère-t-elle du chain-of-thought, de l'auto-réflexion et du Best-of-N ?
Le chain-of-thought ne génère qu'un seul chemin de raisonnement et tranche tout en un seul passage glouton ; la self-consistency s'appuie sur le chain-of-thought en calculant plusieurs fois puis en votant. L'auto-réflexion vérifie la réponse après coup et la réécrit lorsqu'elle trouve une erreur — elle modifie donc la réponse ; la self-consistency ne modifie aucun chemin, elle en choisit seulement un par vote, sans boucle de rétroaction. Le Best-of-N avec vérificateur exige d'entraîner un modèle de notation distinct pour noter chaque chemin ; la self-consistency n'a besoin ni de modèle de notation, ni de modèle supplémentaire, ni d'annotation humaine — elle compte simplement les voix. L'article a vérifié cette approche sur UL2-20B, GPT-3 175B, LaMDA-137B et PaLM-540B.
Quand fonctionne-t-elle, et quand ne faut-il pas s'y fier ?
Elle ne fonctionne que si deux conditions sont réunies : la réponse finale peut être extraite et comparée, et les chemins sont réellement diversifiés. La rédaction ouverte et les tâches créatives n'ont pas de réponse unique sur laquelle voter. Le coût est lui aussi direct : échantillonner 40 chemins coûte environ 40 fois plus qu'un seul chemin, la latence et la dépense en tokens augmentent avec le nombre d'échantillons, plus d'échantillons apportent plus de gains, mais avec des rendements marginaux décroissants. Il reste une limite facile à négliger : si le modèle se trompe systématiquement et que la plupart des chemins partagent le même malentendu, le vote amplifie la mauvaise réponse au lieu de la corriger. La diversité est un prérequis — il faut échantillonner avec température ; avec le décodage glouton, chaque résultat est identique et voter n'a aucun sens. Pour décider, demandez-vous d'abord : ce problème a-t-il une seule réponse comparable, et le modèle pourrait-il arriver à une réponse différente par un autre chemin ? Ce n'est que si les deux réponses sont oui qu'il vaut la peine de calculer plusieurs fois.
