Am 26. Oktober 2026 hat Epoch AI eine Evaluation veröffentlicht, die Modelle an echter Arbeit misst: 11 Aufgaben aus dem eigenen Tagesgeschäft, verteilt auf fünf Kategorien, für sechs Spitzenmodelle — um zu sehen, wie weit sie davon entfernt sind, einen Forschungsjob wirklich zu übernehmen. Das Ergebnis ist ernüchternd: Die Führenden, Claude Fable 5.1 und GPT-6 Astra, erreichten im Schnitt nur 65 % der Bewertungskriterien, weit entfernt von den 100 %, die abgabereife Arbeit bedeuten würden.
Wie der Test tatsächlich lief
Alle Aufgaben stammen aus echter Arbeit bei Epoch: eine Grafik im Hausstil erstellen, eine kurze datenbasierte Analyse schreiben, einen Datenbrowser bauen, ein KI-Rechenzentrum recherchieren sowie eine Forschungsidee vorschlagen und ein Pilotexperiment durchführen. Jedes Modell erhielt die höchste Reasoning-Stufe und Material auf dem Niveau eines neuen Mitarbeiters, ohne menschliches Eingreifen zwischendurch, und wurde anschließend von Menschen kriteriumsweise nach Mitarbeiterstandards bewertet. Epoch betont, dass dieses Vorgehen eine Lücke herkömmlicher Benchmarks schließt: Aufgaben, die nur prüfen, ob etwas richtig berechnet wurde, verbergen leicht, wie unbeholfen Modelle bei echter Arbeit sind.
Drei Stellen, an denen Modelle stecken bleiben
Erstens lernen sie die „Hausregeln" einer Organisation nicht. Trotz monatelanger Entwürfe, Farbpaletten und Vorlagen lieferte Claude Fable 5.1 eine überladene Grafik ab, während ein Epoch-Designer ein sauberes einzelnes Diagramm vorlegte; GPT-6 Astra verfehlte beim Schreiben einer Datenanalyse ebenfalls, welche Themen die Leser wirklich interessieren. Zweitens hinkt das Urteilsvermögen den Ideen hinterher. In einem Pilotexperiment setzte GPT-6 Astra das Token-Budget für die getesteten Modelle so niedrig an, dass 22 % der Durchläufe überhaupt keine Antwort lieferten — und berichtete diesen Fehler als Erkenntnis darüber, dass Modelle empfindlich auf Budgets reagieren. Drittens fallen Open-Weight-Modelle noch weiter zurück: Kimi K3 verrechnete sich bei der Analyse von Physik-Papers im Filter und zählte Papers der gesamten Plattform als Physik-Papers, was den Trend stark übertrieb — obwohl seine 158 Punkte im Epoch Capabilities Index etwa auf dem Niveau von Grok 4.6 liegen.
65 % bedeuten nicht 65 % Zeitersparnis
Epoch formuliert es unverblümt: Nach Mitarbeiterstandards müsste jedes dieser Ergebnisse zurückgewiesen werden. Die 65 % sind ein Anteil an Bewertungskriterien, keine eingesparte Arbeitszeit. Eine Ausnahme wurde aus dem Aufgabensatz entfernt: Fable 5.1 besteht eine einfache Diagrammaufgabe inzwischen meist im ersten Anlauf, und Epoch automatisiert diesen Schritt bereits teilweise. Für normale Nutzer fällt das Fazit je nach Aufgabe unterschiedlich aus: Klar umrissene Arbeit wie Programmieren oder Datenanalyse kann man getrost zuerst einem Modell überlassen. Sobald aber Geschmack, Urteil oder die Frage „Was bedeutet dieses Ergebnis eigentlich?" ins Spiel kommen, muss am Ende ein Mensch prüfen — je fähiger das Modell, desto weniger verzichtbar wird diese Prüfung.
