Benchmark-Kontamination bedeutet, dass die Fragen oder Antworten, die für eine Bewertung verwendet werden, bereits vor dem Training in die Trainingsdaten gelangt sind. Das Modell löst die Aufgaben nicht spontan, sondern antwortet aus dem Gedächtnis. Die Punktzahl sieht hoch aus, beweist aber nicht, dass es die Fähigkeit wirklich beherrscht.
Wie Kontamination entsteht
Der häufigste Weg ist direkt: Ein öffentlicher Benchmark wird in Trainingskorpora aufgenommen. Sobald Testfragen veröffentlicht sind, können Crawler sie aus Webseiten, Papern, Code-Repositories und Frage-Antwort-Beiträgen aufsammeln, und sie landen zusammen mit riesigen Textmengen im Modell. Der zweite Weg ist indirektes Durchsickern: Fragen werden umformuliert, übersetzt oder in Diskussionsbeiträge zerlegt, die Antworten verstecken sich in Erklärungen, sodass sich das Modell dieselbe Frage in anderer Formulierung merkt. Der dritte Weg entsteht bei der Bewertung selbst: Wird derselbe Fragensatz immer wieder verwendet, um Einstellungen zu optimieren und Modelle auszuwählen, wird die Punktzahl langsam nach oben „getunt", bis der Benchmark seine Rolle als Schiedsrichter verliert.
Eine überhöhte Punktzahl bedeutet nicht, dass die Fähigkeit unecht ist
Benchmark-Kontamination wird leicht als Schummeln des Modells missverstanden. In den meisten Fällen handelt es sich um ein Problem der Datenpipeline, nicht darum, dass das Modell absichtlich Antworten auswendig lernt. Das eigentliche Problem ist, dass sich die Bedeutung der Punktzahl verändert: Gemessen wird nicht mehr die Generalisierung, sondern wie viel vom Test sich das Modell gemerkt hat. Ein Modell, das bei einem Satz Mathematikaufgaben sehr gut abschneidet, kann bei einem neu veröffentlichten Satz ähnlicher Aufgaben, den es nie gesehen hat, deutlich abfallen. Umgekehrt bedeutet eine mittelmäßige Punktzahl nicht, dass das Modell nutzlos ist; manche leistungsfähige Modelle haben den Fragestil dieses Benchmarks schlicht nie kennengelernt.
Vier Fragen, bevor man einer Punktzahl vertraut
Erstens: Wie neu sind die Fragen? Wurde der Benchmark erst kürzlich veröffentlicht und gegen die Trainingsdaten dedupliziert? Zweitens: Ist die Bewertung transparent? Werden die Deduplizierungsmethode erklärt und Kontaminationsprüfungen veröffentlicht? Drittens: Gibt es mehr als eine Evidenzlinie? Hält sich dieselbe Fähigkeit über Benchmarks aus unterschiedlichen Quellen und in unterschiedlichen Formaten stabil? Viertens: Schau auf echte Aufgaben. Probiere das Modell in einem kleinen Ausschnitt eines echten Workflows aus und beobachte, wie es sich bei Daten verhält, die es nie gesehen hat. Das sagt mehr aus als eine Rangliste allein.
Zwei häufige Missverständnisse
Ein Missverständnis ist, Benchmark-Gaming mit Kontamination gleichzusetzen. Die Optimierung auf das Format eines Benchmarks oder die Wahl des besten Prompts ist legitime Prüfungsvorbereitung; nur Trainingsdaten, die den Test selbst enthalten, zählen als Kontamination. Das zweite Missverständnis ist die Annahme, dies betreffe nur offene Modelle. Geschlossene Modelle stehen vor demselben Problem mit Benchmarkfragen in öffentlichen Korpora; der einzige Unterschied ist, dass Außenstehende ihre Trainingsdaten schwerer prüfen können. Wenn du eine Modellankündigung liest, lies die Punktzahl immer zusammen mit der Bewertungsmethode. Eine einzelne Zahl allein sagt sehr wenig aus.
