Le 6 novembre, Anthropic a publié son étude Project EVE : les agents Claude parviennent à gagner de l'argent de façon régulière sur un marché simulé d'EVE Online, mais en équipe dans EVE Frontier, ils ne repèrent presque jamais un coéquipier qui sabote discrètement la mission. Les mêmes modèles montrent une capacité d'exécution qui ne cesse de croître, alors que le contrôle ne suit pas — c'est précisément cet écart qui rend l'étude intéressante.
Les profits viennent des écarts, pas de la clairvoyance
L'expérience de trading reposait sur des replays simulés et non sur des transactions réelles, car EVE Online interdit le trading automatisé. Opus 4.6, Opus 4.7, Opus 4.8 et Fable 5 ont reçu chacun 3 milliards d'ISK et ont négocié sur neuf fenêtres de deux semaines ; les trois derniers ont été rentables à chaque fenêtre, avec des gains moyens d'environ 16 %, 22 % et 43 %. Parmi plus de vingt stratégies à base de règles, une seule a réussi à atteindre péniblement l'équilibre. Sur environ six mois, le rendement moyen de Fable 5 a atteint à peu près 600 % du capital initial, soit trois fois celui d'Opus 4.6. Les modèles ont pour la plupart découvert d'eux-mêmes la capture d'écart entre cours acheteur et vendeur : des marges de seulement 8 % à 13 %, mais des centaines d'ordres par jour. Les paris directionnels, c'était une autre histoire : en prédisant les mouvements de prix à partir des actualités et des notes de patch, Fable 5 n'a gagné de l'argent que dans environ la moitié de ses tentatives ; après la hausse de la taxe de vente dans le jeu, 43 % des agents Opus 4.6 ne l'ont jamais remarquée.
Bons en équipe, mauvais pour démasquer un traître
L'expérience d'équipe s'est déroulée en direct dans EVE Frontier, avec quatre Claude par équipe. La différence est apparue d'abord au niveau de l'échafaudage : avec un logiciel d'assistance écrit par Fable 5 lui-même, une équipe a terminé le tutoriel en 12 heures sans perdre un seul vaisseau ; avec la version écrite par Opus 4.8, les mêmes modèles perdaient des vaisseaux à répétition et échouaient pendant des jours. Le test de sabotage était encore plus révélateur : un agent devait saboter secrètement la mission pendant que les trois autres avaient été prévenus qu'un coéquipier pouvait ne pas être fiable — et sur l'ensemble de l'expérience, un seul agent honnête a formellement identifié le saboteur, après que celui-ci eut ouvertement menti. Les agents de surveillance dédiés, limités au canal public, n'ont guère fait mieux : avec un taux de fausses accusations plafonné à 5 %, les moniteurs fondés sur Opus ont repéré 30 % à 40 % des saboteurs, Sonnet 4.6 seulement 20 %, et aucun moniteur n'a dépassé 50 % de confiance.
Ces chiffres tracent une ligne : les profits provenaient de l'exploitation d'écarts déjà présents sur le marché, et non de la prédiction de l'avenir, et bien coopérer n'équivaut pas à se surveiller mutuellement. Anthropic trace aussi sa propre limite : les saboteurs agissaient sur instruction, ce qui ne dit rien d'une envie spontanée des modèles de saboter ; un marché simulé ne peut pas reproduire les réactions de vrais traders, donc la capture d'écart ne se transposera pas forcément sur une vraie bourse. L'étude pointe une vieille question qui accompagne les agents dès qu'ils commencent à gérer de l'argent et à travailler en équipe : qui les surveille ?
La direction proposée par Anthropic consiste à fixer des limites de risque explicites pour les agents qui manipulent de l'argent, et à doter les équipes multi-agents de journaux d'audit, de réputation et de séparation des tâches — la même boîte à outils que les organisations humaines utilisent contre les initiés, appliquée désormais aux équipes d'agents. Reste à vérifier si ces mécanismes tiendront dans des déploiements réels. Le même laboratoire s'interroge aussi depuis peu sur la façon dont les modèles se comportent entre eux : selon une étude, cinq modèles de premier plan se montrent attentifs les uns envers les autres, et Claude protège le plus les siens.
