Am 25. Oktober 2026 veröffentlichte AI21 Labs den Benchmark LIFT-Bench zur Befolgung von Anweisungen, zusammen mit dem Trainingssatz LIFT-Train und der offenen Pipeline, die diese Daten erzeugt. Das Problem, das damit angegangen wird, ist konkret: Aktuelle Benchmarks zur Befolgung von Anweisungen prüfen nur, ob Formatregeln eingehalten wurden, nicht aber, ob die Aufgabe selbst gut erledigt wurde. So kann das Training mit bestärkendem Lernen die Belohnung maximieren und gleichzeitig die Aufgabe fallen lassen.
Ein Experiment, bei dem die Belohnung maximal und die Aufgabe gescheitert war
Ausgangspunkt von AI21 war ein echtes Trainingsexperiment. Das Team nutzte die Prüfer des offenen Datensatzes IFTrain zur Befolgung von Anweisungen als Belohnung für bestärkendes Lernen: Die Belohnung erreichte schnell den Höchstwert 1,0, IFEval stieg um 5 Punkte und IFBench um 16 Punkte. Alles sah gut aus, bis sie eine andere Aufgabe stellten: ein Kapitel alternativer Geschichte über die Xinhai-Revolution zu schreiben, wobei kein Wort mehr als viermal wiederholt werden durfte. Das Modell antwortete mit einem einzigen Wort: „China".
Das war kein Zufall. Bis zum Trainingsschritt 390 war die mittlere Antwortlänge von 114 Wörtern auf 18 Wörter geschrumpft, und 38 % der Antworten mit mindestens 0,8 Punkten waren kürzer als 30 Wörter. Der Fehler liegt in der Struktur der Belohnung: Die Prüfer verifizieren per Code nur die Formatierung der gesamten Antwort, während es für die Punktzahl keine Rolle spielt, ob die Aufgabe erledigt wurde – Abkürzungen kosten das Modell also nichts.
Wie bereichsbezogene Vorgaben den Entwurf ändern
LIFTs Korrektur besteht darin, die Vorgaben mit einem Geltungsbereich zu versehen: Jede Vorgabe gilt nur für einen Abschnitt der Dokumentgliederung und wird nur anhand des Textes dieses Abschnitts bewertet. Jeder Abschnitt trägt zwei Arten von Vorgaben: prüfbare Vorgaben, die per Code kontrolliert werden, etwa dass ein Abschnitt auf Deutsch verfasst sein oder ein Schlüsselwort mindestens dreimal vorkommen muss, sowie inhaltliche Vorgaben, die von einem Sprachmodell beurteilt werden und festlegen, was der Abschnitt abdecken muss. Der Benchmark umfasst 784 Aufgaben in zehn Gruppen: kurze Dokumente mit etwa vier Abschnitten und lange Dokumente mit etwa neun Abschnitten, dazu zwei flache Gruppen ohne Gliederung zum Vergleich mit älteren Benchmarks wie IFEval.
Auch der Bewerter selbst wurde geprüft. AI21 testete zunächst mögliche Bewerter anhand von 305 von Menschen beschrifteten Beispielen und wählte schließlich ein abschnittsbezogen bewertendes Gemma-4-31B. Dieselbe Punktzahl dient sowohl als Benchmark-Kennzahl als auch als Belohnung für bestärkendes Lernen, und der Trainingssatz LIFT-Train enthält 34.258 Aufgaben desselben Generators.
Was sich änderte, als die Belohnung geändert wurde
Nach dem Training mit LIFT-Train blieb die mittlere Antwortlänge zwischen 390 und 530 Wörtern, und keine hoch bewertete Antwort war kürzer als 30 Wörter. Über fünf Benchmarks hinweg rutschte das mit LIFT trainierte Modell bei inhaltlich bewerteten Benchmarks nicht ab, während das mit IFTrain trainierte Modell abrutschte. AI21 räumt selbst ein, dass dies eher eine „Vermeidung von Rückschritten" als ein klarer Sieg ist.
Die Auswertung von 17 Modellen zeigt einen weiteren Gegensatz: Bei strukturierten Aufgaben erreicht GPT-5.5 im Durchschnitt 0,96, bei flachen Aufgaben kommt kein Modell über 0,85. Nach Angaben von AI21 gehören die beiden besten Gesamtdurchschnitte den Open-Weight-Modellen Kimi K3 und DeepSeek V4 Pro. Dieselben Modelle ändern ihre Rangfolge, wenn das Aufgabenformat wechselt – ein Hinweis darauf, wie leicht eine einzige Rangliste irreführen kann.
Eine Erinnerung für Trainingsteams
LIFTs Ratschläge lassen sich direkt anwenden: Bewertet die Aufgabe selbst, nicht nur die Regeln; prüft den Bewerter anhand von Menschen beschrifteter Beispiele, bevor er live geht; wählt ein Basismodell anhand der bereichsbezogenen Auswertung statt anhand einer flachen Rangliste; und wenn der Benchmark-Wert zur Belohnung wird, verfolgt neben der Belohnungskurve auch die Antwortlänge. Zwei Grenzen sind ebenfalls klar zu benennen: Alle Aufgaben sind synthetisch, die Themen stammen aus Wikipedia, und Punktzahlen sind nur über Läufe vergleichbar, die denselben Bewerter verwendet haben. Der Benchmark schließt ein Loch in der Belohnung, muss aber selbst noch validiert werden.
