In-Context-Learning ist die Fähigkeit eines großen Modells, eine neue Aufgabe anhand weniger Beispiele im Prompt zu bewältigen, ohne seine Parameter zu aktualisieren. Das Modell wird nicht neu trainiert und behält die Beispiele nicht dauerhaft. Es behandelt sie als vorübergehende Referenzen im aktuellen Gespräch, leitet daraus Format, Stil und Kriterien der Aufgabe ab und wendet sie auf neue Eingaben an. Klare Beispiele führen eher zu genauen Ergebnissen; vage Beispiele führen zu vagen Ergebnissen.
Ein konkretes Beispiel
Angenommen, ein Modell soll Nutzermeldungen in Anfragen, Beschwerden und Lob einteilen. Ein Neutraining ist nicht nötig. Gib im Prompt für jede Kategorie ein oder zwei beschriftete Meldungen an und füge dann eine unbeschriftete neue Meldung hinzu. Das Modell folgt dem Einordnungsmuster der Beispiele. Ändert man die Beispiele oder die Kriterien, kann dasselbe Modell ein ganz anderes Ergebnis liefern. Das zeigt, dass es den Beispielen folgt und keine fest verdrahtete Regel ausführt.
Der Unterschied zu Fine-Tuning und RAG
Fine-Tuning aktualisiert die Modellparameter tatsächlich mit Trainingsdaten. Die Änderung bleibt bestehen und eignet sich für langfristige, stabile Aufgaben, braucht aber Daten, Rechenleistung und Zeit. RAG ruft zuerst relevante Inhalte aus einer externen Wissensbasis ab und lässt das Modell dann auf dieser Grundlage antworten, sodass die Antwort vor allem auf den abgerufenen Inhalten beruht. In-Context-Learning ändert weder Parameter noch durchsucht es externe Quellen; seine einzige Grundlage sind die Beispiele im Prompt. Es ist die leichteste und schnellste Option und zugleich am anfälligsten für irreführende Formulierungen.
Drei häufige Missverständnisse
- Beispiele zu geben ist kein Training. Beispiele wirken nur im aktuellen Gespräch. In einem neuen Gespräch sind sie weg, und das Modell speichert deine Daten nicht langfristig.
- Mehr Beispiele sind nicht immer besser. Anzahl, Reihenfolge und Formulierung beeinflussen das Ergebnis. Widersprüchliche Beispiele, zuletzt platzierte Beispiele und vage formulierte Beispiele können das Modell in die falsche Richtung lenken.
- Ein längerer Kontext bedeutet kein festeres Gedächtnis. Je mehr Inhalt im Prompt steht, desto leichter werden wichtige Informationen verwässert, und das Modell achtet möglicherweise stärker auf spätere Inhalte. Wichtige Beispiele und Anforderungen sollten knapp und auffällig stehen, statt sie anzuhäufen.
Wann es gut funktioniert und wann man sich nicht darauf verlassen sollte
Aufgaben mit festem Format und Kriterien, die Beispiele klarmachen können, eignen sich gut für In-Context-Learning, etwa Klassifikation, Umschreiben und das Extrahieren von Informationen nach einer festen Vorlage. Aufgaben, die genaues Fachwissen erfordern, Vorlieben langfristig speichern müssen oder deren Kriterien Beispiele nicht klären können, sollten nicht auf wenigen Beispielen beruhen. Dann sind Fine-Tuning, das Abrufen externer Inhalte oder das explizite Aufschreiben der Regeln geeigneter. Der Test ist einfach: Wenn schon das Ändern weniger Beispiele das Ergebnis stark verändert, befindet sich die Aufgabe noch in der Phase, in der Bedeutung aus Beispielen erraten wird, und braucht eine verlässlichere Grundlage.
