문항만 바꿔도 같은 모델의 순위가 몇 계단씩 움직입니다. 리더보드는 성적표가 아니라 출제자 시점에서 잘라낸 한 조각일 뿐입니다. 벤치마크 구성, 채점기 설계, 점수 부풀리기를 막는 방법을 다룹니다.
Claude Opus 5.5, Text Arena 1위 등극…1509점으로 텍스트 모델 신기록 Claude Opus 5.5가 출시된 지 나흘 만에 텍스트 모델 아레나의 정상에 올랐다. 9월 26일 LMArena 공식 계정이 X에 최신 순위를 발표했다. Claude Op...
9월 25일, Arena(구 LMArena)가 리더보드를 업데이트하며 GPT-6 Sol(Max)이 Agent Arena에 공식 진입했다. 첫 성적표는 순개선율 +7.7%, 44개 모델 중 6위. 4000건이 넘는 실제 에이전트 세션을 바탕으로 한 평가로, GPT-6 S...
Claude가 이론물리학자들을 위해 '아무도 풀어본 적 없는' 계산 문제를 풀었다. 9월 25일 Anthropic은 공식 리서치 블로그에 게스트 글을 게재했다. 물리학자이자 과학 저술가인 Matt von Hippel이 한 달 전 AI 기업들에 던진 도전장을 돌아보는 내...
EU AI법 집행이 서류상 규칙에서 실무로 옮겨가고 있다. 9월 17일 EU AI 위원회(AI Board)는 제9차 회의를 열어 '집행부의 집행 활동과 우선순위'를 핵심 의제로 다뤘고, 9월 초 유럽집행위원회는 30개가 넘는 AI 제공업체에 정식 정보제공 요청을 발송했...
Gemini 4가 "초기 포스트트레이닝(early post-training)" 단계에 진입했고, 구글은 이를 "연말보다 훨씬 이전"에 공개하길 원한다. 2026년 9월 23일, 구글 딥마인드의 신임 수장 코라이 카부쿠오글루(Koray Kavukcuoglu)가 첫 공개 ...
2026년 9월 24일, Politico는 사정에 정통한 관계자와 미국 정부 고위 당국자의 말을 인용해 백악관이 OpenAI와 Anthropic에 미국의 심사가 완료되기 전까지 영국 테스터들에게 신모델 제공을 보류해 달라고 요청했다고 보도했다. 로이터가 이 보도를 전했...
사실: AI 정신건강 대화를 평가하는 공개된 자 2026년 9월 23일, OpenAI는 공식 블로그를 통해 MentalHealthBench를 발표했다. AI 시스템이 현실적인 정신건강 대화에서 어떤 응답을 하는지 측정하기 위한 공개 벤치마크다. 22개국 80명 이상의 ...
2026년 9월 22일, 독립 AI 벤치마크 기관 Artificial Analysis가 GPT-6 Sol와 GPT-6 Luna에 대한 독립 평가 보고서를 발표했다. 두 모델 출시 이후 처음으로 나온 완전한 제3자 성적표다. 가격은 확실히 절반으로 떨어졌지만, 성능 변화...
