Few-Shot Learning ist eine Art, ein großes Modell zu nutzen, bei der man ihm nur wenige Beispiele zeigt und es eine neue Aufgabe in deren Format und nach deren Maßstab erledigt. Ein erneutes Training ist nicht nötig. Man stellt der Anfrage einfach zwei oder drei Paare aus Eingabe und gewünschter Ausgabe voran, das Modell erkennt das Muster dahinter und wendet dieselbe Behandlung auf neues Material an. Das funktioniert, weil das Modell Sprache und Aufgabenverständnis bereits im Vortraining gelernt hat; die Beispiele wirken weniger wie eine Vorlesung und mehr wie eine Vorführung an Ort und Stelle.
Zero-Shot, One-Shot und Few-Shot
Die drei Begriffe unterscheiden sich nur in der Zahl der Beispiele. Zero-Shot heißt, nur die Anforderung zu nennen und gar kein Beispiel zu geben; das Modell antwortet allein aus seinem Aufgabenverständnis, was sich für vertraute Arbeiten wie Übersetzen oder Zusammenfassen eignet. One-Shot liefert eine einzige vollständige Demonstration, damit das Modell sieht, wie die Ausgabe aussehen soll. Few-Shot meint in der Regel zwei bis fünf Beispiele, und je ungewöhnlicher die Aufgabe oder je strenger das Format, desto mehr zahlen sie sich aus. Die Faustregel ist einfach: Weicht die erste Antwort ab, liegt es meist nicht am Können, sondern daran, dass das Modell die gewünschte Form nicht kennt, und Beispiele beheben das schneller als umformulierte Regeln.
Warum Beispiele besser wirken als Erklärungen
Viele schreiben lange Regellisten in ihre Eingabe und erhalten trotzdem Antworten daneben, weil Regeln abstrakt sind und Beispiele konkret. Bei derselben Klassifikationsaufgabe lehren zehn Sätze mit Kriterien weniger als drei bereits zugeordnete Proben, denn die Beispiele legen zugleich Eingabeformat, Ausgabelänge, Ton und Grenzfälle fest und geben dem Modell etwas, das es Punkt für Punkt abgleichen kann. Qualität zählt dabei mehr als Menge: Widersprechen sich die Beispiele oder decken sie nur leichte Fälle ab, lernt das Modell das falsche Muster ebenso treu. Wählen Sie Beispiele, die die am leichtesten verwechselbaren Situationen abdecken, und halten Sie ihr Ausgabeformat vollkommen einheitlich.
Das ist kein Fine-Tuning
Few-Shot Learning wird oft für eine Trainingsform gehalten, verändert aber die Parameter des Modells überhaupt nicht. Die Beispiele leben nur im Kontext dieser einen Unterhaltung, und sobald sie endet oder der Kontext gelöscht wird, ist der Demonstrationseffekt weg. Fine-Tuning ist etwas anderes: Es aktualisiert die Modellgewichte tatsächlich mit einem Datensatz, sodass die Wirkung bleibt, verlangt aber Datenaufbereitung, Rechenleistung und Bewertung. Die Abwägung ist klar. Für vorübergehende Aufgaben, wechselnde Regeln oder einen schnellen Test ist Few-Shot richtig; für eine feste, langfristige Aufgabe mit hohem Volumen und Stabilitätsanspruch lohnt sich Fine-Tuning. Auch ein weiterer Irrtum gehört korrigiert: Mehr Beispiele sind nicht immer besser. Sie verbrauchen Kontext, und wer zu viele hineinpackt, verdrängt das Material, das eigentlich verarbeitet werden soll. Drei bis fünf gute Beispiele reichen in der Regel aus.
