Wie Selbstreflexion funktioniert: erst antworten, dann prüfen, dann überarbeiten
Selbstreflexion läuft in der Regel in drei Schritten ab: Das Modell erstellt zunächst eine Version der Antwort. Dann bewertet eine Prüfstufe, ob diese Antwort gut genug ist – auf Grundlage externer Rückmeldungen, etwa wenn Code nicht läuft oder ein Test fehlschlägt, oder einer vom Modell selbst simulierten Prüfung. Schließlich wird „wo der Fehler lag und wie es beim nächsten Mal besser geht“ als Text festgehalten und im Gedächtnis gespeichert, sodass das Modell diese Erinnerung bei der nächsten Antwort zuerst liest und dann handelt. Das 2023 von Shinn und Kollegen vorgestellte Reflexion-Framework ist der bekannteste Vertreter dieses Ansatzes: Es besteht aus einem Ausführenden, der Antworten erzeugt, einem Bewerter, der Punkte vergibt, und einem Reflexionsmodul, das die Reflexion verfasst. Es lässt Agenten durch sprachliches Feedback statt durch Änderung der Gewichte besser werden und erreichte bei der Programmieraufgabe HumanEval eine Pass@1-Quote von 91 %, höher als die 80 % von GPT-4 allein. Dasselbe Verfahren lag bei der AlfWorld-Aufgabe etwa 22 Prozentpunkte über der Baseline und verbesserte HotPotQA um etwa 20 %. Diese Zahlen zeigen: Reflexion funktioniert bei Aufgaben mit klaren Richtig-oder-Falsch-Kriterien, aber nur, wenn das Feedbacksignal selbst verlässlich ist.
Selbstreflexion ist nicht dasselbe wie Chain-of-Thought
Chain-of-Thought heißt „erst denken, dann antworten“: Das Modell schreibt seine Denkschritte auf, bevor es zur Antwort kommt, um Rechenfehler unterwegs zu vermeiden. Selbstreflexion heißt „erst antworten, dann prüfen“: Die Antwort existiert bereits, und die Reflexion bewertet die Qualität dieser fertigen Antwort. Beides lässt sich kombinieren: erst sorgfältig mit Chain-of-Thought antworten, dann mit Selbstreflexion noch einmal prüfen. Wer die beiden verwechselt, setzt leicht „lange nachgedacht“ mit „geprüft“ gleich. Eine weitere häufige Verwechslung ist, Selbstreflexion für Training zu halten: Methoden wie Reflexion ändern die Modellgewichte nicht, sondern nur die im Gedächtnis gespeicherten Texthinweise.
Drei Missverständnisse – und wie man beurteilt, ob Reflexion nützt
Das erste Missverständnis ist zu glauben, das Modell habe nach einer Reflexion „verstanden“. Reflexion ändert Formulierungen und Schritte, nicht das Wissen selbst. Fakten, die das Modell nicht kennt, wird es nach der Reflexion nur in flüssigerer Sprache wieder falsch wiedergeben – und dabei sogar immer selbstsicherer. Das zweite Missverständnis ist zu glauben, mehr Reflexionsrunden seien immer besser. Ohne externe Prüfung verstärken mehrere Runden die anfängliche Verzerrung und machen aus einem kleinen Fehler einen großen. Solide ist es, eine Stopp-Regel zu setzen: entweder auf ein externes Signal wie bestandene Kompilierung oder bestandene Tests zu warten oder die Reflexion auf höchstens zwei bis drei Runden zu begrenzen und dann aufzuhören. Das dritte Missverständnis ist, Selbstreflexion für ein Werkzeug zur Faktenprüfung zu halten. Sie ist gut bei Fehlern, die sich sofort prüfen lassen – Format, Arithmetik, Code –, aber offene Fragen und Faktenfragen haben keinen fertigen Schiedsrichter, da hilft Reflexion nicht. Ob Selbstreflexion in einem Szenario sinnvoll ist, entscheidet eine einzige Frage: Kann man die Antwort prüfen, ohne sich auf das Modell selbst zu verlassen? Wenn ja, lohnt es sich, Selbstreflexion einzuschalten. Wenn nein, sollte man zuerst externe Werkzeuge oder Menschen zur Prüfung heranziehen, statt zu erwarten, dass das Modell sich selbst widerlegt.
