11월 2일 SemiAnalysis는 11개 고가치 영역을 다루고 총 206개 과제를 담은 에이전트 벤치마크 GDPx를 공개했다. SemiAnalysis가 공개한 순위표에 따르면 최상위 모델인 Claude Opus 5.5도 12.0%에 그쳤고, Gemini 4 Carbon이 10.9%로 2위, GPT-6 Astra가 9.6%로 3위를 차지했다. 낮은 점수는 의도된 것으로, 이 벤치마크는 실제 업무의 난이도에 맞춰 설계됐다. 최첨단 모델도 전문 업무를 혼자 끝내는 수준과는 아직 거리가 멀다.
과제는 단발성 질문이 아니라 실제 업무 환경에서 나온다
GDPx 과제는 14개 전문 데이터 파트너가 제공했으며, 11개 영역에는 칩 설계, 사이버보안, 생물학, 금융, 법률, 퀀트 트레이딩, 재귀적 자기 개선, 하드웨어 설계, 재료과학, 정렬, 소프트웨어 공학이 포함된다. 각 과제의 기본 제한 시간은 8시간이며, 모델은 각자의 기본 실행 환경에서 동작한다. Opus 5.5는 Claude Code, GPT-6 Astra는 Codex, Gemini 4 Carbon은 Antigravity를 사용하고, 기본 환경이 없을 때는 OpenCode를 사용한다. 대표 점수는 세 번의 시도에서 첫 번째 시도의 통과율 평균이며, 모든 영역에 같은 가중치가 적용된다. 금융과 법률 과제가 가장 어려웠다. SemiAnalysis에 따르면 거의 모든 모델이 이 두 종류의 과제에서 0점을 받았다.
안전 분류기가 상위 두 모델을 끌어내렸고, 계산 방식에 따라 순위가 바뀐다
SemiAnalysis는 Opus 5.5와 GPT-6 Astra의 총점이 각자의 안전 분류기 때문에 낮아졌다고 주의를 환기했다. 사이버보안, 생물학, 정렬 영역에서는 분류기가 모델의 동작을 가로막는 경우가 있다. 이 세 영역을 제외하면 GPT-6 Astra가 근소한 차이로 Opus 5.5를 앞지르고, Gemini 4 Carbon은 2위에서 5위로 떨어진다. 영역별로 보면 Opus 5.5는 퀀트 트레이딩, 하드웨어 설계, 칩 설계에서 1위를 차지했고, Gemini 4 Carbon은 생물학과 소프트웨어 공학에서 앞섰으며, GPT-6 Astra는 재귀적 자기 개선과 재료과학에서 가장 강했다. Meta의 Muse Wonder Full은 최고의 사이버보안 모델로 평가받았다. 순위표는 총점만으로 읽을 수 없다.
GDPx의 가치는 순위 자체가 아니라 경고에 있다. 질의응답형 벤치마크만으로 판단하면 긴 다단계 업무를 처리하는 능력을 과대평가하게 된다. 206개 과제는 모두 시뮬레이션 환경에서 정보를 모으고 도구를 사용하며 여러 단계를 완료하도록 요구하고, 단 한 번의 실수로 과제 전체가 0점이 될 수 있다. 점수는 평가 방법과 함께 읽어야 하며, 벤치마크 오염 판단 방법은 새로운 벤치마크에도 똑같이 적용된다. 과제가 새로운지, 채점이 투명한지가 점수를 믿을 수 있는지를 결정한다. GDPx는 결국 한 기관의 문제 묶음이며, 그 결론은 독립적인 재현을 통해 검증될 필요가 있다.
SemiAnalysis에 따르면 GDPx는 3~6개월마다 업데이트되며 순위표는 이미 공개됐다. 지켜볼 점은 Gemini 4 Carbon이 일반 제공된 뒤 순위가 바뀌는지, 그리고 각 회사가 긴 과제에 맞춰 에이전트를 조정하는지다. 12%는 출발점에 더 가깝다. 그 숫자는 최첨단 모델이 정말로 혼자 일할 수 있게 되기까지 얼마나 더 가야 하는지를 보여준다.
