Self-Consistency ist eine Dekodierungsstrategie, kein neues Modell, und erfordert kein zusätzliches Training. Sie lässt das Modell für dieselbe Aufgabe mit Chain-of-Thought mehrere unterschiedliche Lösungspfade sampeln und stimmt dann per Mehrheitswahl über die Endergebnisse der einzelnen Pfade ab; die Antwort mit den meisten Stimmen ist die endgültige Antwort. Bei Aufgaben, deren Antworten sich vergleichen lassen, etwa Mathematik und Multiple-Choice-Fragen, ist sie oft genauer als ein einziger Durchlauf – doch sie wählt die Antwort aus, die das Modell selbst am häufigsten gibt, und ist keine externe Überprüfung.
Mehrmals rechnen und dann abstimmen: Wie laufen die drei Schritte ab?
Zuerst wird das Modell mit Chain-of-Thought-Beispielen angeregt, dann wird Greedy-Decoding durch Sampling mit Temperatur ersetzt, sodass aus dem Decoder vielfältige Lösungspfade gesampelt werden, und schließlich werden die Endergebnisse aller Pfade zusammengeführt, wobei die am häufigsten vorkommende Antwort genommen wird. Im Paper wurde mit PaLM-540B und 40 gesampelten Pfaden verglichen: Bei GSM8K, einer Aufgabe mit Grundschulmathematik, stieg die Genauigkeit von 56,5 % auf 74,4 %, also um 17,9 Prozentpunkte; SVAMP verbesserte sich um 11,0 Prozentpunkte, StrategyQA um 6,4 Prozentpunkte und ARC-challenge um 3,9 Prozentpunkte. Richtige Pfade führen oft auf unterschiedlichen Wegen zur selben Antwort, während falsche Pfade jeweils anders falsch liegen – die häufigste Antwort ist daher ein wirksames Auswahlsignal.
Worin unterscheidet sie sich von Chain-of-Thought, Self-Reflection und Best-of-N?
Chain-of-Thought erzeugt nur einen einzigen Lösungspfad und entscheidet alles mit einem Greedy-Durchlauf; Self-Consistency rechnet darauf aufbauend mehrmals und stimmt dann ab. Self-Reflection prüft die Antwort nachträglich und schreibt sie nach gefundenen Fehlern um – sie verändert also die Antwort; Self-Consistency verändert keinen einzigen Pfad, sondern wählt nur per Abstimmung einen aus, ohne Rückkopplungsschleife. Best-of-N mit Verifier muss ein separates Bewertungsmodell trainieren, das jeden Pfad bewertet; Self-Consistency braucht kein Bewertungsmodell, kein zusätzliches Modell und keine manuelle Annotation – sie zählt nur Stimmen. Das Paper hat dieses Vorgehen bei UL2-20B, GPT-3 175B, LaMDA-137B und PaLM-540B überprüft.
Wann funktioniert sie, und wann sollte man sich nicht auf sie verlassen?
Sie funktioniert nur, wenn zwei Bedingungen zugleich erfüllt sind: Die endgültige Antwort muss sich extrahieren und vergleichen lassen, und zwischen den Pfaden muss tatsächlich Vielfalt bestehen. Bei offenem Schreiben und kreativen Aufgaben gibt es keine eindeutige Antwort, über die man abstimmen könnte. Auch der Preis ist direkt: 40 gesampelte Pfade kosten etwa 40-mal so viel wie ein einzelner Pfad, Latenz und Token-Kosten steigen mit der Anzahl der Samples, mehr Samples bringen mehr Verbesserung, doch der Grenznutzen nimmt ab. Eine leicht übersehene Grenze bleibt: Wenn das Modell systematisch falsch liegt und die meisten Pfade dasselbe Missverständnis teilen, verstärkt die Abstimmung die falsche Antwort, statt sie zu korrigieren. Vielfalt ist Voraussetzung – es muss mit Temperatur gesampelt werden; bei Greedy-Decoding ist jedes Ergebnis gleich, und Abstimmen ist sinnlos. Fragen Sie bei der Entscheidung zuerst: Hat diese Aufgabe eine einzige vergleichbare Antwort, und kann das Modell auf einem anderen Weg zu einer anderen Antwort gelangen? Nur wenn beides mit Ja beantwortet wird, lohnt es sich, mehrmals zu rechnen.
