AI 모델 평가
문항만 바꿔도 같은 모델의 순위가 몇 계단씩 움직입니다. 리더보드는 성적표가 아니라 출제자 시점에서 잘라낸 한 조각일 뿐입니다. 벤치마크 구성, 채점기 설계, 점수 부풀리기를 막는 방법을 다룹니다.
문항만 바꿔도 같은 모델의 순위가 몇 계단씩 움직입니다. 리더보드는 성적표가 아니라 출제자 시점에서 잘라낸 한 조각일 뿐입니다. 벤치마크 구성, 채점기 설계, 점수 부풀리기를 막는 방법을 다룹니다.
Muse Spark는 Meta가 2026년 10월 2일 공개한 공동 연구의 중심에 섰다. Meta의 수학자 팀이 이 모델과 함께 연구 논문 6편을 완성했고, 그중 5편이 그동안 풀리지 않았던 개방 문제에 답했다. 팀이 사용한 것은 Muse Spark 1.1과 1.2의 ...
AstaBrief 8B는 Ai2(Allen Institute for AI)가 2026년 10월 2일 오픈소스로 공개한 과학 보고서 생성 모델이다. 연구 질문과 검색된 문헌 발췌를 입력하면 인용이 달린 보고서를 바로 만들어 낸다. 모델은 Ai2의 과학 연구 플랫폼 Ast...
Mercor의 회계 대조 연구는 2026년 10월 2일 Mercor가 공식 블로그를 통해 공개했습니다. 평균 경력 5년 반의 공인회계사 자격을 갖춘 주니어 회계사 12명을 고용해 프런티어 대형 모델과 같은 월말 결산 과제로 정면 대결시킨 연구입니다. 결과는 선명했습니다...
Modal VM Sandboxes 가 2026년 10월 1일 정식 GA가 됐다. AI 클라우드 인프라 기업 Modal 이 공식 블로그를 통해 발표한 것으로, AI 에이전트를 위한 완전한 Linux 가상 머신이다. 샌드박스 런타임 지정만 runtime="vm" 으로 바꾸...
2026년 10월 1일, Arena가 Xiaomi의 MiMo-V2.6-Pro와 MiMo-V2.6-Flash가 Agent Arena 리더보드에 정식 진입했다고 발표했다. 9월 21일 릴리스와 MIT 라이선스 오픈소스화 이후, MiMo-V2.6 시리즈가 대규모 실제 에이전...
오늘의 톱 뉴스는 Gemini 4 Argon 입니다. Google DeepMind 는 9월 30일 차세대 프론티어 모델을 발표하며 첫 적용 분야로 사이버보안을 정했습니다. 같은 날 미국 규제 당국의 움직임도 빨라졌습니다. FTC 는 OpenAI, Anthropic 등 ...
2026년 10월 1일, OpenRouter는 공식 블로그를 통해 에이전트 작업용 모델을 고르는 3단계 프레임워크를 공개했습니다. 출발점은 직관에 반하는 주장입니다. 리더보드 순위로 고르면 필요 없는 순위에 프론티어급 요금을 내게 됩니다. 올바른 질문은 '어떤 모델이 ...
9월 29일, OpenAI는 DevDay 2026에서 GPT-6.1 Sol을 발표했다. GPT-6 Sol의 업그레이드 버전으로, 에이전트형 코딩, computer use, 전문 업무 워크로드에서의 지능은 GPT-6 Astra에 근접하면서 표준 입력·출력 토큰 가격은 A...