Le 26 octobre 2026, Epoch AI a publié une évaluation qui teste les modèles sur du vrai travail : 11 tâches tirées de ses propres activités quotidiennes, réparties en cinq catégories, confiées à six modèles de pointe, pour mesurer ce qui les sépare encore d'une véritable prise en charge d'un poste de recherche. Le résultat est sévère : les leaders, Claude Fable 5.1 et GPT-6 Astra, n'ont obtenu en moyenne que 65 % des critères de notation, loin des 100 % qui signifieraient un travail prêt à être livré.
Comment le test s'est réellement déroulé
Toutes les tâches proviennent du travail réel chez Epoch : produire un graphique dans le style maison, rédiger une courte analyse fondée sur des données, construire un explorateur de données, enquêter sur un centre de données d'IA, proposer une idée de recherche et mener une expérience pilote. Chaque modèle a reçu le niveau de raisonnement maximal et un matériel équivalent à celui d'un nouvel employé, sans intervention humaine entre-temps, avant d'être noté critère par critère selon les standards des employés. Epoch souligne que cette méthode comble une lacune des bancs d'essai classiques : les exercices qui vérifient seulement si un calcul est juste masquent facilement la maladresse des modèles dans le travail réel.
Trois endroits où les modèles calent
Premièrement, ils n'apprennent pas les « règles de la maison » d'une organisation. Malgré des mois de maquettes, de palettes et de modèles, Claude Fable 5.1 a livré un graphique surchargé d'informations, là où un designer d'Epoch produisait un seul graphique net ; GPT-6 Astra, en rédigeant un éclairage sur des données, a aussi manqué les sujets qui intéressent vraiment les lecteurs. Deuxièmement, le jugement ne suit pas les idées. Dans une expérience pilote, GPT-6 Astra a fixé le budget de jetons des modèles testés si bas que 22 % des exécutions n'ont renvoyé aucune réponse — et il a présenté cet échec comme une découverte sur la sensibilité des modèles aux budgets. Troisièmement, les modèles à poids ouverts sont encore plus en retard : Kimi K3, en analysant des articles de physique, s'est trompé de filtre et a compté les articles de tout le site comme des articles de physique, exagérant fortement la tendance — alors que ses 158 points à l'indice de capacités d'Epoch sont à peu près au niveau de Grok 4.6.
65 % ne veut pas dire 65 % de temps gagné
Epoch le dit sans détour : selon les standards des employés, chacune de ces productions serait renvoyée pour révision. Les 65 % sont une part de critères, pas des heures économisées. Une seule exception a été retirée de l'épreuve : Fable 5.1 réussit désormais une tâche graphique de base presque du premier coup, et Epoch automatise déjà partiellement cette étape. Pour l'utilisateur ordinaire, la conclusion varie selon la tâche : un travail bien délimité comme le code ou l'analyse de données peut sans risque être confié d'abord à un modèle ; dès que le goût, le jugement ou la question « que signifie vraiment ce résultat ? » entrent en jeu, un humain doit vérifier à la fin — plus le modèle est capable, moins cette relecture est facultative.
