문항만 바꿔도 같은 모델의 순위가 몇 계단씩 움직입니다. 리더보드는 성적표가 아니라 출제자 시점에서 잘라낸 한 조각일 뿐입니다. 벤치마크 구성, 채점기 설계, 점수 부풀리기를 막는 방법을 다룹니다.
ARC-AGI-2 최고 기록 보드가 2026년 10월 9일 경신됐다. ARC Prize 공식 발표에 따르면 Tufa Labs가 88.06%에 도달해 ARC Prize 2026 시즌 ARC-AGI-2 최고 기록 보드 1위에 올랐다. 이 점수는 85% 라인을 넘었다. 대회...
OpenAI는 2026년 10월 6일 내부 모델이 생성한 수학 원고 719편을 공개했다. 10월 8일 TechCrunch와 The Decoder는 이 공개가 수학계 자체 자문 그룹이 정한 기준에 미치지 못했다고 잇달아 지적했고, 일부 수학자들은 동료들에게 OpenAI와...
Google AMIE의 실제 외래 연구가 2026년 10월 8일 『랜싯』 본지에 실렸다. Google이 이 저널 본지에 논문을 게재한 것은 처음이다. AMIE는 Google의 대화형 진단 연구 시스템으로, 이번에는 모의 증례 시험이 아니라 베스 이스라엘 디코니스 메디컬...
Arena는 2026년 10월 8일 공식 블로그를 통해 2억 달러 규모의 시리즈 B 투자를 유치했다고 발표했다. 기업 가치는 31억 달러로 평가됐다. Lightspeed Venture Partners와 Khosla Ventures가 공동 주도했고 Salesforce V...
DeepSeek V4.1 Flash의 최신 성적은 2026년 10월 6일 ARC Prize가 발표했다. 독립 평가 기관인 ARC Prize는 ARC-AGI(Verified) 평가에서 ARC-AGI-1 94.5%, ARC-AGI-2 72.9%라는 점수를 매겼다. 추상 추...
퍼플렉시티, 즉 혼란도는 언어 모델이 다음 단어를 얼마나 확신하지 못하는지를 나타내는 숫자입니다. 문장을 이어 쓸 때 실제로 등장한 단어에 모델이 놀랄수록 수치는 높아지고, 당연하게 느낄수록 낮아집니다. 제조사들은 새 모델의 사양표에 이 숫자를 즐겨 넣지만, 이것은 모...
OpenAI는 2026년 10월 6일 공식 블로그를 통해 아직 공개되지 않은 내부 프런티어 모델이 만들어 낸 수학 연구 성과 묶음을 공개했다. 원고 722건, 결과 계열 372개에 이르며 오랫동안 풀리지 않던 수학 문제 수백 건을 다루는 이례적인 규모다. 성과는 학술지...
Mistral Large 4는 Mistral AI가 2026년 10월 6일 공식 블로그로 공개한 공개 프리뷰 모델이다. 전체 파라미터 1조 개, 활성 파라미터 490억 개의 네이티브 멀티모달 모델로, 이 프랑스 회사가 만든 가장 큰 모델이다. 프리뷰 API는 같은 날 ...
