Am 6. November hat Anthropic seine Project-EVE-Studie veröffentlicht: Claude-Agenten können in einem simulierten EVE-Online-Markt verlässlich Geld verdienen, doch in EVE Frontier fangen Teams einen Teamkollegen, der die Mission heimlich sabotiert, fast nie. Dieselben Modelle zeigen eine Ausführungsstärke, die weiter wächst, während die Kontrolle nicht mithalten kann – genau diese Lücke macht die Studie beachtenswert.
Gewinne kommen aus Spreads, nicht aus Weitblick
Das Handelsexperiment lief als simulierte Wiederholung statt als echter Handel, weil EVE Online automatisierten Handel verbietet. Opus 4.6, Opus 4.7, Opus 4.8 und Fable 5 erhielten jeweils 3 Milliarden ISK und handelten über neun Zwei-Wochen-Fenster; die letzteren drei waren in jedem Fenster profitabel und legten im Schnitt um etwa 16 %, 22 % und 43 % zu. Von mehr als zwanzig regelbasierten Strategien schaffte es nur eine einzige, gerade so die Gewinnschwelle zu halten. Über etwa sechs Monate gestreckt, erreichte Fable 5 eine durchschnittliche Rendite von rund 600 % des Startkapitals – dreimal so viel wie Opus 4.6. Die Modelle entdeckten meist von selbst das Ausnutzen von Geld-Brief-Spannen: Margen von nur 8 % bis 13 %, dafür Hunderte Aufträge pro Tag. Richtungswetten waren eine andere Geschichte: Wer Kursbewegungen aus Nachrichten und Patchnotizen vorhersagen sollte, verdiente bei Fable 5 nur in etwa der Hälfte der Versuche Geld; nachdem das Spiel seine Umsatzsteuer anhob, bemerkten 43 % der Opus-4.6-Agenten die Änderung überhaupt nicht.
Gut im Team, schlecht im Aufspüren von Verrätern
Das Teamexperiment lief live in EVE Frontier, vier Claudes pro Team. Der Unterschied zeigte sich zuerst beim Gerüst: Mit Hilfssoftware, die Fable 5 selbst geschrieben hatte, schloss ein Team das Tutorial in 12 Stunden ab, ohne ein Schiff zu verlieren; mit der von Opus 4.8 geschriebenen Version verloren dieselben Modelle immer wieder Schiffe und scheiterten tagelang. Der Sabotagetest war noch aufschlussreicher: Ein Agent sollte die Mission heimlich torpedieren, während die anderen drei gewarnt worden waren, dass ein Teamkollege unzuverlässig sein könnte – und im gesamten Durchlauf identifizierte nur ein einziger ehrlicher Agent den Saboteur eindeutig, erst nachdem dieser offen gelogen hatte. Auch eigene Überwachungsagenten, die nur den öffentlichen Kanal lesen durften, schnitten kaum besser ab: Bei einer Obergrenze von 5 % für falsche Anschuldigungen erwischten Opus-basierte Monitore 30 % bis 40 % der Saboteure, Sonnet 4.6 nur 20 %, und kein Monitor kam über 50 % Zuversicht hinaus.
Die Zahlen ziehen eine Linie: Die Gewinne stammten aus Spannen, die im Markt bereits existierten, nicht aus der Vorhersage der Zukunft, und gute Zusammenarbeit ist nicht dasselbe wie gegenseitige Kontrolle. Anthropic zieht auch selbst eine Grenze: Die Saboteure handelten auf Anweisung, was nichts darüber aussagt, ob Modelle von sich aus sabotieren wollen; ein simulierter Markt kann die Reaktionen echter Händler nicht nachbilden, also muss Spread-Handel an einer echten Börse nicht funktionieren. Die Studie verweist auf eine alte Frage, die Agenten begleitet, sobald sie Geld verwalten und in Teams arbeiten: Wer beaufsichtigt sie?
Anthropics vorgeschlagene Richtung sind klare Risikogrenzen für Agenten, die Geld verwalten, sowie Prüfprotokolle, Reputation und Aufgabentrennung für Multi-Agenten-Teams – also das Instrumentarium, mit dem menschliche Organisationen sich gegen Insider wappnen, nun angewandt auf Agententeams. Ob diese Mechanismen in echten Einsätzen standhalten, muss sich erst noch zeigen. Dasselbe Labor fragt neuerdings auch, wie Modelle zueinander stehen: In einer Studie zeigten fünf führende Modelle Rücksicht aufeinander – und Claude schützte seine eigenen am stärksten.
