11月6日、AnthropicはProject EVEの研究を発表した。ClaudeエージェントはEVE Onlineのシミュレーション市場で着実に利益を出せるのに、EVE Frontierでチームを組むと、密かに任務を妨害する仲間をほとんど見抜けない。同じモデルでありながら、実行力は伸び続ける一方で、管理能力が追いついていない。この落差こそが、この研究に注目すべき理由だ。
利益の源は値幅であって先見性ではない
取引実験は実取引ではなくシミュレーションの再生で行われた。EVE Onlineでは自動取引が禁止されているためだ。Opus 4.6、Opus 4.7、Opus 4.8、Fable 5はそれぞれ30億ISKを受け取り、9つの2週間ウィンドウで取引した。後ろの3モデルはすべてのウィンドウで利益を出し、平均増加率は約16%、22%、43%。20種類以上のルールベース戦略のうち、かろうじて収支が合ったのは1つだけだった。期間を約6か月に延ばすと、Fable 5の平均リターンは初期資金の約600%に達し、Opus 4.6の3倍になった。モデルはほとんど自発的に、売買の値幅を抜く手法を見つけ出した。利益率は8%から13%と薄いが、1日に数百件の注文をこなす。一方、方向性の読みは別だった。ニュースやパッチノートから値動きを予測しても、Fable 5が利益を出せたのは試みの約半分だけ。ゲーム内で売上税が引き上げられた後も、Opus 4.6の43%はその変化に最後まで気づかなかった。
チームワークは得意、裏切り者の発見は苦手
チーム実験はEVE Frontierの実環境で行われ、4体のClaudeが1チームになった。違いはまず足場(スキャフォールド)に出た。Fable 5自身が書いた補助プログラムを使えば、チームは12時間でチュートリアルを終え、船を1隻も失わなかった。Opus 4.8が書いた版に替えると、同じモデルが船を繰り返し失い、何日もクリアできなかった。妨害テストはさらに示唆的だった。1体のエージェントに任務を密かに潰すよう指示し、残る3体には仲間が信頼できないかもしれないと事前に警告した。それでも実験全体を通じて、妨害者を明確に特定できた誠実なエージェントは1体だけで、それも相手が公然と嘘をついた後のことだった。公開チャンネルしか見られない専用の監視エージェントも大差なかった。誤って誠実なエージェントを告発する確率を5%以内に抑えた場合、Opus系の監視エージェントが妨害者を捉えたのは30%から40%、Sonnet 4.6は20%で、確信度が50%を超えた監視エージェントは1つもなかった。
この数字は一線を引いている。利益は未来を予測したからではなく、市場にすでにあった値幅を利用したから生まれた。うまく連携できることと、互いを監視できることは別だ。Anthropic自身も境界を明確にしている。妨害者は指示に従って動いたのであり、モデルが自発的に妨害したがっている証拠にはならない。シミュレーション市場は実際のトレーダーの反応を再現できないため、値幅取りの手法が実際の取引所で通用するとは限らない。この研究が指し示しているのは、エージェントが人の資金を扱い、チームで働き始めたときに付きまとう古い問いだ。誰が彼らを監視するのか。
Anthropicが示す方向は、資金を扱うエージェントに明確なリスク上限を設け、マルチエージェントチームに監査記録、評判、職務分離を備えることだ。人間の組織が内部の裏切り者に備えてきたのと同じ仕組みを、エージェントチームにも適用するという考え方だ。これらの仕組みが実際の導入で通用するかどうかは、今後の検証にかかっている。同じ研究所は最近、モデル同士の関係についても調べている。「Anthropicの研究:5つの主要モデルも互いを気遣い、Claudeが最も仲間を守る」というものだ。