2026년 11월 14일, 제3자 수학 벤치마크 MathArena가 순위를 업데이트했다. 구글의 Gemini 4 Carbon이 기대 성적 85.4%로 1위에 올랐고, OpenAI의 GPT-6.1 Sol(80.6%)은 3위로 밀려났으며, 앤트로픽의 Claude Fable 5.2(82.8%)가 2위를 차지했다. OpenAI가 아닌 모델이 이 순위표 정상에 오른 것은 오랜만이다. 다만 대가가 크다. Carbon은 문제 한 개당 15.70달러로, Sol의 약 15배다.
이 벤치마크는 무엇을 재는가
MathArena는 취리히 연방공과대학 연구자 야스퍼 데코닝크가 운영한다. 새로 공개된 수학 경시대회 문제와 연구 문제만으로 평가해 모델이 암기로 점수를 따는 것을 막는 것이 특징이다. 각 모델이 문제마다 네 번씩 풀고 평균을 낸다. Carbon의 성적은 'high' 추론 설정, Sol은 'max' 설정에서 나왔다. 순위표에는 11월 13일 Carbon과 Fable 5.2의 결과가 함께 추가됐다. Carbon은 11월 10일에야 정식 출시됐고, Fable 5.2는 11월 9일에 나왔으며, Sol은 9월 29일 출시 이후 줄곧 1위를 지켜왔다. 주의할 점도 있다. Carbon의 85.4%에는 ±3.0%포인트의 신뢰 구간이 있고, 더 높은 점수를 받은 Fable 5.2는 문제당 40.20달러로 더 비싸다.
비싸게 산 점수, 값어치가 있나
수학에 모델을 쓰는 사람에게 순위표에서 정말 유용한 숫자는 비용란에 있다. Sol은 문제당 1.07달러, Kimi K3.1 Pro는 3.70달러인데, Carbon은 15.70달러, Fable은 40.20달러다. 데코닝크 본인도 주의를 당부했다. 비용이 너무 높아 Carbon은 ArXivLean 평가만 온전히 돌렸고, 일부 점수는 실측이 아니라 통계적 추정치라는 것이다. 구글은 1위 등극에 대해 아무 발표도 하지 않았고, 피차이와 하사비스는 벤치마크 운영자의 게시물을 공유했을 뿐 언급은 없었다. 다시 말해 1위는 사실이지만, 높은 추론 설정과 높은 추론 비용으로 산 것이다.
모델을 고를 때 이 순위표를 어떻게 볼 것인가
이 순위표는 결론이라기보다 스냅샷에 가깝다. Carbon이 순수 수학 추론에서 확실히 최상급 실력을 갖췄다는 점은 증명됐지만, 일상 과제에서 이 4.8점을 위해 15배의 돈을 낼지는 문제의 난이도와 예산에 달려 있다. 구글의 고속 모델 Hydrogen은 다른 길을 간다. 가성비 중심의 모델이다. Fable 5.2의 진입 장벽과 가격도 또 다른 계산이다. Carbon이 더 많은 평가에서 실측 점수를 내고 가격이 안정된 뒤에 이 순위를 다시 볼 만할 것이다.
