11월 6일, Anthropic은 Project EVE 연구를 발표했다. Claude 에이전트는 EVE Online 시뮬레이션 시장에서 꾸준히 수익을 낼 수 있지만, EVE Frontier에서 팀을 이루면 몰래 임무를 방해하는 동료를 거의 잡아내지 못한다. 같은 모델인데도 실행 능력은 계속 강해지는 반면 통제 능력은 따라가지 못하고 있다. 바로 이 간극이 이 연구에 주목해야 할 이유다.
수익의 원천은 시세 차익이지 통찰이 아니다
거래 실험은 실거래가 아니라 시뮬레이션 재생으로 진행됐다. EVE Online이 자동 거래를 금지하기 때문이다. Opus 4.6, Opus 4.7, Opus 4.8, Fable 5는 각각 30억 ISK를 받아 아홉 개의 2주 구간에서 거래했다. 뒤의 세 모델은 모든 구간에서 수익을 냈고 평균 증가율은 약 16%, 22%, 43%였다. 스무 가지가 넘는 규칙 기반 전략 중 간신히 손익분기점을 맞춘 것은 단 하나뿐이었다. 기간을 약 6개월로 늘리면 Fable 5의 평균 수익은 초기 자금의 약 600%에 달해 Opus 4.6의 세 배였다. 모델들은 대부분 스스로 매수·매도 호가 차이로 수익을 내는 방식을 찾아냈다. 마진은 8%에서 13%로 얇지만 하루에 수백 건의 주문을 처리한다. 반면 방향성 베팅은 달랐다. 뉴스와 패치 노트를 보고 가격 움직임을 예측해도 Fable 5가 수익을 낸 것은 시도의 절반 정도에 불과했다. 게임 내 판매세가 인상된 뒤에도 Opus 4.6의 43%는 그 변화를 끝내 알아채지 못했다.
팀워크는 잘하는데 배신자는 못 잡는다
팀 실험은 EVE Frontier의 실제 환경에서 진행됐고 네 대의 Claude가 한 팀을 이뤘다. 차이는 먼저 스캐폴드에서 드러났다. Fable 5가 직접 작성한 보조 프로그램을 쓰면 팀은 12시간 만에 튜토리얼을 마치고 함선을 한 척도 잃지 않았다. Opus 4.8이 작성한 버전으로 바꾸자 같은 모델들이 함선을 반복해 잃고 며칠 동안 임무를 마치지 못했다. 방해 테스트는 더 많은 것을 보여줬다. 한 에이전트에게 몰래 임무를 망치라고 지시하고, 나머지 세 에이전트에게는 동료가 믿을 수 없을지도 모른다고 미리 경고했다. 그런데도 실험 전체에서 방해자를 명확히 지목한 정직한 에이전트는 단 한 대뿐이었고, 그것도 상대가 대놓고 거짓말을 한 뒤의 일이었다. 공개 채널만 볼 수 있는 전용 감시 에이전트도 크게 다르지 않았다. 정직한 에이전트를 잘못 고발할 확률을 5% 이내로 제한했을 때 Opus 계열 감시 에이전트가 방해자를 잡아낸 비율은 30%에서 40%, Sonnet 4.6은 20%였고, 확신도가 50%를 넘은 감시 에이전트는 하나도 없었다.
이 숫자들은 하나의 경계선을 긋는다. 수익은 미래를 예측해서가 아니라 시장에 이미 존재하는 호가 차이를 이용한 결과였고, 협력을 잘한다는 것이 서로를 감시할 수 있다는 뜻은 아니다. Anthropic 스스로도 경계를 분명히 했다. 방해자는 지시에 따라 행동한 것이지, 모델이 자발적으로 방해하고 싶어 한다는 증거는 아니다. 시뮬레이션 시장은 실제 트레이더들의 반응을 재현할 수 없으므로, 호가 차이 전략이 실제 거래소에서 통하리라는 보장도 없다. 이 연구가 가리키는 것은 에이전트가 남의 돈을 굴리고 팀으로 일하기 시작하면서 따라다니는 오래된 질문이다. 누가 그들을 감시하는가.
Anthropic이 제시하는 방향은 돈을 다루는 에이전트에 명확한 리스크 한도를 두고, 멀티 에이전트 팀에 감사 기록, 평판, 직무 분리를 갖추는 것이다. 인간 조직이 내부 배신자에 대비해 온 것과 같은 장치를 에이전트 팀에도 적용하자는 발상이다. 이 메커니즘이 실제 도입 환경에서 통할지는 앞으로의 검증에 달려 있다. 같은 연구소는 최근 모델 사이의 관계에 대해서도 살펴보고 있다. 다섯 개의 주요 모델도 서로를 배려하며, 그중 Claude가 동료를 가장 챙긴다는 연구다.
