Le 2 novembre, SemiAnalysis a publié GDPx, un benchmark pour agents qui couvre 11 domaines à forte valeur et comprend 206 tâches au total. Le classement publié par SemiAnalysis montre que même le meilleur modèle, Claude Opus 5.5, n’obtient que 12,0 %, suivi de Gemini 4 Carbon à 10,9 % et de GPT-6 Astra à 9,6 %. Ces scores faibles sont voulus : le benchmark est calibré sur la difficulté du travail réel, et les modèles les plus avancés sont encore loin de pouvoir accomplir seuls un travail professionnel.
Les tâches viennent d’environnements de travail réels, pas de questions isolées
Les tâches de GDPx ont été fournies par 14 partenaires de données spécialisés, et ses 11 domaines comprennent la conception de puces, la cybersécurité, la biologie, la finance, le droit, le trading quantitatif, l’auto-amélioration récursive, la conception matérielle, la science des matériaux, l’alignement et le génie logiciel. Chaque tâche a une durée par défaut de huit heures, et les modèles fonctionnent dans leurs environnements natifs : Opus 5.5 dans Claude Code, GPT-6 Astra dans Codex et Gemini 4 Carbon dans Antigravity, avec OpenCode lorsqu’il n’existe pas d’environnement natif. Le score principal est la moyenne du pass@1 sur trois tentatives, tous les domaines étant pondérés de façon égale. Les tâches de finance et de droit sont les plus difficiles : selon SemiAnalysis, pratiquement tous les modèles obtiennent zéro à ces deux types de tâches.
Les classifieurs de sécurité ont pénalisé deux leaders, et un autre calcul change l’ordre
SemiAnalysis prévient que les scores globaux d’Opus 5.5 et de GPT-6 Astra ont été tirés vers le bas par leurs propres classifieurs de sécurité. En cybersécurité, en biologie et en alignement, ces classifieurs bloquent parfois les actions d’un modèle. En retirant ces trois domaines, GPT-6 Astra passe de justesse devant Opus 5.5, tandis que Gemini 4 Carbon glisse de la deuxième à la cinquième place. Par domaine, Opus 5.5 remporte le trading quantitatif, la conception matérielle et la conception de puces ; Gemini 4 Carbon mène en biologie et en génie logiciel ; et GPT-6 Astra est le plus fort en auto-amélioration récursive et en science des matériaux. Muse Wonder Full, de Meta, a été jugé le meilleur modèle de cybersécurité. Un classement ne se lit pas à son seul score global.
La valeur de GDPx n’est pas le classement, mais l’avertissement : juger les modèles uniquement sur des benchmarks de questions-réponses surestime leur capacité à traiter un travail long et en plusieurs étapes. Les 206 tâches exigent toutes qu’un modèle rassemble des informations, utilise des outils et accomplisse plusieurs étapes dans un environnement simulé, où une seule erreur peut ramener toute la tâche à zéro. Les scores doivent être lus avec la méthode d’évaluation, et comment repérer la contamination d’un benchmark s’applique tout autant à un nouveau benchmark : la fraîcheur des tâches et la transparence de la notation déterminent si un score est digne de confiance. GDPx n’est, après tout, que l’ensemble de tâches d’une seule organisation, et ses conclusions doivent encore être reproduites de façon indépendante.
Selon SemiAnalysis, GDPx sera mis à jour tous les trois à six mois, et le classement est déjà public. Il faudra observer si l’ordre change une fois Gemini 4 Carbon disponible pour tous, et si les laboratoires adaptent leurs agents aux tâches longues. 12 % ressemble davantage à un point de départ : ce chiffre mesure ce qu’il reste aux modèles les plus avancés avant de pouvoir vraiment travailler de façon autonome.
