Sakana AI는 2026년 10월 11일, UC 버클리 연구자들과 공동 개발한 방법 MASS를 공개했다. 재귀적 자기 개선에 새로운 학습 재료를 주는 시도로, 단일 에이전트가 혼자 헤매게 두는 대신 같은 모델을 먼저 팀으로 일하게 하고, 팀의 가장 좋은 경험을 모델 가중치에 다시 증류한다. MASS는 Multi-Agent Self-Supervision의 약자이며, 실험의 기반 모델은 Qwen3.6-27B로 qwen-code 코딩 에이전트 환경에서 실행됐다.
왜 스스로를 가르쳐야 하는가
최전선 과제에는 까다로운 속성이 있다. 일이 어려울수록 옳고 그름을 판단할 사람이 줄어든다. 코드는 테스트로 검증할 수 있지만, 연구 보고서의 완성도에는 자동 채점 기준이 없는 경우가 많다. 그래서 MASS는 극단적인 구성을 택한다. 실행자, 워크플로 최적화자, 평가자가 모두 같은 모델로, 과제를 제출하고 분업 방식을 바꾸며 동료의 결과물에 점수를 매긴다. 더 강한 감독자가 없는 상황에서 이 동체 순환이 실제로 반복될수록 좋아지는지를 확인하는 것이 저자들의 목적이다. 이는 멀티 에이전트 팀의 비용이 5.1배 늘어도 품질은 거의 변하지 않았다는 실측과 좋은 대조를 이룬다. 그 연구가 실행 시점에 팀을 꾸리는 것이 값어치가 있는지를 물었다면, MASS는 팀의 경험이 모델 자체의 능력으로 정착할 수 있는지를 묻는다.
안팎 두 겹 순환이 도는 방식
MASS의 흐름은 두 층으로 나뉜다. 안쪽 순환은 분업 최적화다. 코디네이터가 과제를 하위 에이전트들에게 나누고, 워크플로에는 각 역할의 책임, 산출물 계약, 호출 순서가 명시된다. 평가자는 서로 다른 워크플로가 만든 결과물을 비교해 현재 최상의 것을 남기고, 최적화자는 이를 바탕으로 다음 분업을 다시 짠다. 바깥쪽 순환은 학습을 맡는다. 최상의 워크플로를 반복 실행하고 자기 평가가 가장 높은 실행 궤적을 골라 LoRA로 공유 모델을 미세 조정한다. 업데이트된 모델이 다시 세 자리에 앉아 다음 라운드에 들어간다. 훈련 과제는 금융, 로봇공학, 제약 세 영역에 걸친 합성 연구 세트에서 가져왔으며 총 12개 중 3개는 테스트 전용으로 분리해 훈련에 쓰지 않았다.
두 라운드 뒤의 성적표
- 분리해 둔 테스트 과제 3개에서 2라운드 모델의 기반 모델 대비 승률은 69.9%에 도달했다. 1라운드에서는 53.9%였다.
- MLR-Bench, DSBench, ScienceAgentBench, AstaBench 네 개의 공개 벤치마크에서 2라운드 모델의 출력 토큰당 점수는 기반 모델의 1.2배에서 1.6배로 올랐다.
- 1라운드 모델은 감독 토큰 2880만 개로 승률 68.3%에 도달했다. 단일 에이전트 궤적만으로 훈련한 대조군은 4200만 개를 쓰고도 64.0%에 그쳤다. 팀 궤적의 정보 밀도가 더 높다는 것, 이것이 MASS가 제시하는 가장 확실한 증거다.
- 평가자와 외부 심사자(GPT-5.5와 Claude Opus 4.8, 순환에 전혀 관여하지 않음)의 판단 일치율은 73%에서 93%로 올랐다.
저자들이 스스로 끼얹은 냉수
성적표에는 분명한 이면이 있다. 같은 2라운드 모델이라도 Terminal-Bench 2.0과 SWE-bench Verified에서는 토큰당 점수가 기반 모델의 0.96배와 0.94배에 머물러, 소프트웨어 엔지니어링 과제로는 성과가 이전되지 않았다. 저자들은 훈련 과제에 코딩 엔지니어링 샘플이 부족했기 때문이라고 설명하지만, 자기 개선의 폭이 과제 분포에 크게 좌우된다는 뜻이기도 하다. 더 큰 우려는 논문 결론에 적혀 있다. 실행, 최적화, 평가가 같은 눈을 공유하면 공통의 맹점이 '진전'으로 다음 세대 모델에 새겨질 수 있고, 라운드가 거듭될수록 발견하기 어려워진다. 제거 실험에서는 순환의 병목이 평가자보다 최적화자에게 있는 경우가 더 많았다. 피드백이 정확해도 분업을 다시 짜지 못하면 소용이 없다.
MASS는 아직 두 라운드만 돌렸을 뿐, '모델이 지속적으로 자기 진화한다'는 이야기와는 거리가 멀다. 그래도 막연한 비전을 재현 가능한 실험으로 바꿨다는 데 의미가 있다. 팀 협업의 가치가 실행 시점뿐 아니라 훈련 시점에도 드러난다는 것, 그리고 동체 평가의 위험을 표면으로 끌어냈다는 점이다. 다음으로 지켜볼 것은 3라운드, 4라운드 이후에도 상승세가 이어지는지, 맹점 문제에 외부 검증 수단이 따라붙을 수 있는지다.
