Am 2. November hat SemiAnalysis den Agenten-Benchmark GDPx veröffentlicht. Er deckt 11 hochwertige Bereiche ab und umfasst insgesamt 206 Aufgaben. Die von SemiAnalysis veröffentlichte Rangliste zeigt, dass selbst das beste Modell, Claude Opus 5.5, nur 12,0 % erreichte, gefolgt von Gemini 4 Carbon mit 10,9 % und GPT-6 Astra mit 9,6 %. Die niedrigen Werte sind beabsichtigt: Der Benchmark ist am Schwierigkeitsgrad echter Arbeit ausgerichtet, und die führenden Modelle sind noch weit davon entfernt, professionelle Arbeit eigenständig zu erledigen.
Die Aufgaben stammen aus echten Arbeitsumgebungen, nicht aus Einzelabfragen
Die GDPx-Aufgaben wurden von 14 spezialisierten Datenpartnern bereitgestellt. Die 11 Bereiche umfassen Chipdesign, Cybersicherheit, Biologie, Finanzen, Recht, quantitativen Handel, rekursive Selbstverbesserung, Hardwaredesign, Materialwissenschaft, Alignment und Softwareentwicklung. Jede Aufgabe hat eine Standarddauer von acht Stunden, und die Modelle laufen in ihren nativen Umgebungen: Opus 5.5 in Claude Code, GPT-6 Astra in Codex und Gemini 4 Carbon in Antigravity; wo es keine native Umgebung gibt, wird OpenCode verwendet. Der Hauptwert ist der durchschnittliche pass@1-Wert über drei Versuche, wobei alle Bereiche gleich gewichtet werden. Die Aufgaben in Finanzen und Recht sind am schwersten: Laut SemiAnalysis erzielt praktisch jedes Modell bei beiden Aufgabentypen null Punkte.
Sicherheitsklassifikatoren drückten zwei Spitzenmodelle, eine andere Berechnung ändert die Reihenfolge
SemiAnalysis weist darauf hin, dass die Gesamtwerte von Opus 5.5 und GPT-6 Astra durch ihre eigenen Sicherheitsklassifikatoren gedrückt wurden. In den Bereichen Cybersicherheit, Biologie und Alignment blockieren die Klassifikatoren manchmal Aktionen der Modelle. Lässt man diese drei Bereiche weg, liegt GPT-6 Astra knapp vor Opus 5.5, während Gemini 4 Carbon vom zweiten auf den fünften Platz fällt. Nach Bereichen betrachtet gewinnt Opus 5.5 den quantitativen Handel, das Hardwaredesign und das Chipdesign; Gemini 4 Carbon führt in Biologie und Softwareentwicklung, und GPT-6 Astra ist am stärksten bei rekursiver Selbstverbesserung und Materialwissenschaft. Muse Wonder Full von Meta wurde als bestes Cybersicherheitsmodell bewertet. Eine Rangliste lässt sich nicht allein an ihrem Gesamtwert ablesen.
Der Wert von GDPx liegt nicht in der Rangliste, sondern in der Warnung: Wer Modelle nur nach Frage-Antwort-Benchmarks beurteilt, überschätzt ihre Fähigkeit, lange, mehrstufige Arbeit zu bewältigen. Alle 206 Aufgaben verlangen, dass ein Modell in einer simulierten Umgebung Informationen sammelt, Werkzeuge nutzt und mehrere Schritte ausführt, wobei ein einziger Fehler die gesamte Aufgabe auf null setzen kann. Werte müssen zusammen mit der Bewertungsmethode gelesen werden, und so erkennt man Benchmark-Kontamination gilt für einen neuen Benchmark genauso: Ob die Aufgaben neu sind und ob die Bewertung transparent ist, entscheidet darüber, ob einem Wert zu trauen ist. GDPx ist schließlich nur der Aufgabensatz einer einzigen Organisation, und seine Schlussfolgerungen müssen noch unabhängig reproduziert werden.
Laut SemiAnalysis wird GDPx alle drei bis sechs Monate aktualisiert, und die Rangliste ist bereits öffentlich. Es lohnt sich zu beobachten, ob sich die Rangfolge ändert, sobald Gemini 4 Carbon allgemein verfügbar ist, und ob die Labore ihre Agenten für lange Aufgaben anpassen. 12 % wirken eher wie ein Ausgangspunkt: Der Wert misst, wie weit die führenden Modelle noch davon entfernt sind, wirklich eigenständig zu arbeiten.
