Katastrophales Vergessen beschreibt, was geschieht, wenn ein neuronales Netz Aufgaben nacheinander lernt und beim Meistern der späteren einen großen T...
Perplexität ist eine Zahl, die misst, wie unsicher ein Sprachmodell beim nächsten Wort ist. Schreibt ein Modell einen Satz weiter, steigt die Perplexi...
Overfitting bedeutet, dass ein Modell seine Trainingsdaten zu gut auswendig lernt – inklusive Rauschen und zufälliger Details –, sodass es bei geübten...
Ein Diffusionsmodell ist ein generatives Modell, das neue Inhalte erzeugt, indem es Daten zunächst schrittweise Rauschen hinzufügt und dann lernt, die...
Emergente Fähigkeiten sind Aufgabenfähigkeiten, die kleine Modelle kaum bewältigen, die aber plötzlich möglich werden, sobald die Größe eines Modells ...
Ein Tokenizer ist die erste Station, die Ihr Satz auf dem Weg ins Modell durchläuft – und er ist nicht fürs Verstehen zuständig, sondern nur fürs Zerl...
KI-Alignment (AI Alignment) bezeichnet sämtliche Trainings- und Evaluierungsmethoden, mit denen das Verhalten eines großen Sprachmodells nach dem Vort...
Ein multimodales Modell ist ein KI-Modell, das mehrere Informationsformen – Text, Bilder, Audio – gleichzeitig verarbeiten kann: Man gibt ihm ein Bild...
