Few-Shot-Learning
Zum Thema Few-Shot-Learning: Wie große Sprachmodelle aus wenigen Beispielen im Prompt verallgemeinern — ganz ohne Neutraining —, woher diese Fähigkeit kommt, wann sie glänzt und wann schlichte Regeln besser funktionieren.
Zum Thema Few-Shot-Learning: Wie große Sprachmodelle aus wenigen Beispielen im Prompt verallgemeinern — ganz ohne Neutraining —, woher diese Fähigkeit kommt, wann sie glänzt und wann schlichte Regeln besser funktionieren.
In-Context-Learning ist die Fähigkeit eines großen Modells, eine neue Aufgabe anhand weniger Beispiele im Prompt zu bewältigen, ohne seine Parameter z...
Selbstaufmerksamkeit ist ein Mechanismus, mit dem ein Modell beim Verarbeiten eines Satzes zuerst entscheidet, wie stark jedes Wort die anderen Wörter...
Ein Embedding verwandelt einen Text, ein Bild oder Audio in eine Zahlenfolge, sodass eine Maschine berechnen kann, wie ähnlich sich zwei Dinge sind. S...
Längere Prompts sind nicht automatisch besser. Stehen Ziel, wichtiger Kontext und harte Anforderungen erst einmal da, bringt weiteres Anhäufen schnell...
Few-Shot Learning ist eine Art, ein großes Modell zu nutzen, bei der man ihm nur wenige Beispiele zeigt und es eine neue Aufgabe in deren Format und n...
Pre-Training ist die erste Trainingsphase eines großen Sprachmodells: Bevor es chatten oder programmieren lernt, tut das Modell an riesigen Textmengen...
Katastrophales Vergessen beschreibt, was geschieht, wenn ein neuronales Netz Aufgaben nacheinander lernt und beim Meistern der späteren einen großen T...
Overfitting bedeutet, dass ein Modell seine Trainingsdaten zu gut auswendig lernt – inklusive Rauschen und zufälliger Details –, sodass es bei geübten...