KI-Modellbewertung
Wechselt man den Fragensatz, rutscht dasselbe Modell mehrere Plätze — eine Rangliste ist kein Zeugnis, sondern ein Ausschnitt aus der Perspektive der Prüfenden. Hier geht es um den Aufbau von Benchmarks, das Design von Grader und darum, wie Werte nicht künstlich steigen.
Das Schwierige an Evaluation ist nicht das Formulieren von Aufgaben, sondern sicherzustellen, dass der Wert tatsächlich Fähigkeit abbildet. UNO-Bench vereinheitlicht 44 Aufgabentypen über fünf Modalitätskombinationen und liefert einen allgemeinen Grader, der die automatisierte Bewertung zu etwa 95% konsistent hält. AMO-Bench geht weiter und lässt 50 neue IMO-Aufgaben von menschlichen Experten erstellen — ausdrücklich, damit auswendig gelernte Trainingsdaten das Ergebnis nicht aufblähen; die meisten Modelle bleiben unter 40%.
Einrunden-Evaluation versagt bei Agenten. Das Engineering-Team von Anthropic empfiehlt, mit 20 bis 50 realen Fehlerfällen zu starten, jeder Aufgabe eine funktionierende Referenzlösung und eine klare Bewertungsregel zu geben, sowohl „soll tun" als auch „soll nicht tun" abzudecken und jeden Durchlauf in einer isolierten Umgebung zu fahren, damit geteilter Zustand und Caches den Wert nicht heben. Auch die Metrik entscheidet: pass@k fragt, ob einer von mehreren Versuchen gelingt, pass^k, ob alle gelingen — nur Letzteres entspricht einem Produkt, das jedes Mal funktionieren muss.
