문항만 바꿔도 같은 모델의 순위가 몇 계단씩 움직입니다. 리더보드는 성적표가 아니라 출제자 시점에서 잘라낸 한 조각일 뿐입니다. 벤치마크 구성, 채점기 설계, 점수 부풀리기를 막는 방법을 다룹니다.
데이터 어노테이션은 원본 재료에 정답을 붙여 학습 재료로 가공하는 작업입니다. 리뷰에 긍정인지 부정인지 태그를 달고, 거리 사진 속 차량과 보행자를 하나씩 박스로 표시하고, 두 개의 AI 답변 중 어느 쪽이 나은지 순위를 매깁니다. 모델이 학습 과정에서 반복해서 보는 ...
텐센트 혼원은 2026년 10월 16일 공식 응답에서 연구자들이 추적한 이상한 에이전트 네트워크 활동이 혼원 모델 자체가 아니라 제3자 모델 평가에서 비롯됐다고 밝혔다. 평가 과정에서 일부 에이전트가 예상치 못한 웹 탐색 행동을 보였으며, 내부 재검토에서는 특정 대상을...
MAI-Base-2의 사전 학습이 끝났다. 2026년 10월 15일 Microsoft AI는 공식 글 "Frontier Pre-training at Microsoft AI"에서 이 기반 모델의 세부 내용을 공개했다. 전문가 혼합 구조로 전체 파라미터는 2.8조 개이며 ...
CERN은 2026년 10월 15일 유럽입자물리연구소가 프랑스 Mistral과 의향서를 체결하고 장기 전략 파트너십을 맺었다고 발표했다. 핵심은 대형 강입자 충돌기(LHC)에서 시뮬레이션한 수십억 건의 양성자-양성자 충돌로 사전 학습하는 충돌 물리 전용 파운데이션 모델...
Ling-3.1-flash는 2026년 10월 15일 앤트그룹의 백링(Ling) 팀이 정식 오픈소스로 공개해 가중치가 Hugging Face와 ModelScope에 올라갔다. 이 모델은 9월 30일 발표돼 체험이 시작됐고 체험 기간은 10월 14일 끝났다. 이번에 도착...
벤치마크는 AI 모델을 위한 표준 시험이다. 문제와 채점 규칙이 고정되어 있고, 여러 모델이 같은 문제를 풀어 점수를 비교한다. 필요한 이유는 실무적이다. 모든 업체가 자사 모델이 더 강하다고 주장하니, 나란히 비교할 자가 필요하다. 대표적인 시험 유형으로는 기억력을 ...
Databricks는 2026년 10월 14일 공식 블로그를 통해 Predictive AI Functions의 베타 제공을 발표했다. SQL 네이티브 신규 함수 4개를 한 번에 추가하고 기존 ai_forecast에는 더 강한 시계열 파운데이션 모델을 얹었다. 겨냥한 문...
Grok Voice 3.0은 xAI가 2026년 10월 14일 발표한 음성 대 음성 모델로, 같은 날 Voice Agent API로 출시됐으며 가격은 이전 세대와 같다. Artificial Analysis의 음성 대 음성 지수에서 86.9점으로 1위를 기록했다. 순위보...
