ToolNavs 유용한 AI 도구 찾기
도구 제출 로그인
돌아가기 AI 정보
MAMUBench 공개: 각자 사용자의 에이전트가 따로 움직이자 네 가지 테스트 모두 코디네이터에 패배

MAMUBench 공개: 각자 사용자의 에이전트가 따로 움직이자 네 가지 테스트 모두 코디네이터에 패배

AI 정보 • Admin • • 17 회 조회

2026년 11월 11일, Anthropic은 Alignment Science 블로그에 연구 'Worse Together'를 발표했다. 다중 사용자 다중 에이전트 협업에는 구조적인 약점이 있다. 각자 자신의 에이전트를 보내 같은 공유 자원을 놓고 경쟁하게 하면, 전체 결과는 코디네이터 에이전트 한 개가 모두를 대신해 정리하는 경우보다 나빠진다. 테스트 대상은 Anthropic, OpenAI, 알리바바의 최첨단 모델이며, 네 가지 환경 중 세 가지가 새 벤치마크 MAMUBench로 공개됐다.

코디네이터가 이긴 이유: 네 가지 테스트 모두 10~45%포인트 차이

연구팀은 네 가지 시뮬레이션 환경을 만들었다. 연구자들이 하나의 API 토큰 예산을 공유하는 환경, 환자들이 진료소 일정을 공유하는 환경, 각자의 비서를 통해 단체 주문이나 여행 예약을 모으는 환경, 여러 병합 요청이 출시를 기다리며 줄 서는 환경이다. 테스트 모델은 Claude Opus 5, Claude Sonnet 5, GPT-5.6, Qwen3.8-max였다. 코디네이터는 네 환경 모두에서 승리했다. Claude Opus 5 기준으로 최적 결과 대비 비율을 보면 API 예산 64 대 30, 진료소 일정 84 대 71, 개인 비서 88 대 44, 병합 대기열 92 대 81로, 격차는 10~45%포인트에 달했다.

에이전트 팀이 진 이유: 움직임이 느리고 남의 일까지 멋대로 정한다

문제는 개별 에이전트의 능력이 아니라 협업 자체에 있다. 팀이 4개에서 16개로 커지자 실제로 행동한 멤버의 비율은 계속 떨어졌다. Sonnet 5는 66%에서 10%로, GPT-5.6-sol은 82%에서 25%로 떨어졌다. 더 골치 아픈 것은 남의 일을 멋대로 정하는 것이다. GPT와 Qwen 에이전트는 상대 동의 없이 남의 작업을 취소하거나 축소한 횟수가 에피소드당 평균 3.9~7.1회에 달한 반면, Sonnet 5는 0.59회, Opus 5는 0회였다. 단체 주문에서는 경쟁 상태도 발생했다. 특별한 요청은 주문하는 에이전트에 94~99%의 에피소드에서 도달했지만, 주문 시점에 실제로 읽힌 경우는 47~67%에 불과해 요청이 지켜질 확률은 56~68%에서 19~36%로 떨어졌다. Claude 팀 에피소드의 절반 이상에서는 근거 없는 주장도 나타났고, 단일 에이전트에서는 17~20%였다. 본 사이트의 이전 실측에서도 비슷한 결론이 나왔다. 멀티에이전트 팀 실측: 비용은 최대 5.1배, 품질은 거의 그대로

대책은 상황에 따라 다르고 플랫폼의 역할도 크다

효과적인 대책은 상황에 따라 달랐다. API 예산 환경에서는 결정권을 가진 팀장을 두고 가치 순으로 정렬해 예산을 제때 풀면 팀이 코디네이터 수준으로 돌아왔지만, 단체 주문 환경에서는 이 방법이 거의 통하지 않았고, 가장 효과적인 것은 플랫폼 가드레일이었다. 결제를 막고 에이전트가 읽지 않은 메시지를 모두 읽은 뒤에 결제하게 하자 실패한 에피소드의 73%(Opus 5)와 62%(Sonnet 5)를 되살릴 수 있었다. 이런 상황은 이미 실험실을 벗어났고, 업계는 공통 언어를 만드는 작업도 진행 중이다. A2A 프로토콜이 그 예다. MAMUBench가 가리키는 방향은 분명하다. 에이전트가 많다고 협업이 잘되는 것은 아니며, 코디네이터나 가드레일이 없으면 늘어난 에이전트끼리 먼저 발목을 잡을 수 있다.

추천 도구

더보기