문항만 바꿔도 같은 모델의 순위가 몇 계단씩 움직입니다. 리더보드는 성적표가 아니라 출제자 시점에서 잘라낸 한 조각일 뿐입니다. 벤치마크 구성, 채점기 설계, 점수 부풀리기를 막는 방법을 다룹니다.
Sakana AI는 2026년 10월 11일, UC 버클리 연구자들과 공동 개발한 방법 MASS를 공개했다. 재귀적 자기 개선에 새로운 학습 재료를 주는 시도로, 단일 에이전트가 혼자 헤매게 두는 대신 같은 모델을 먼저 팀으로 일하게 하고, 팀의 가장 좋은 경험을 모델...
멀티에이전트 팀은 비용에 걸맞은 품질 향상을 가져오지 못했습니다. 2026년 10월 11일, 평가 기관 Vals AI는 프로그래밍 벤치마크 Vibe Code Bench에서 단일 에이전트와 팀 모드를 비교한 결과를 공개했습니다. GPT-6 Sol과 Claude Opus ...
AI 데이터 합계가 항상 틀리는 이유는 부주의해서가 아니라 애초에 계산기가 아니기 때문이다. 대규모 언어 모델은 토큰 단위로 텍스트를 생성하며 다음 단어를 예측해 답을 만들어낼 뿐, 실제로 연산을 수행하지 않는다. 자릿수가 많은 덧셈, 뺄셈, 곱셈, 나눗셈에서는 올림이...
DeepGEM 2.0이 2026년 10월 10일 광저우에서 공개됐다. 광저우의과대학 제1부속병원 국가호흡의학센터가 금역(金域)의학과 함께 발표한 폐암 병리·유전자 멀티모달 대형 모델로, 중난산 원사 팀이 개발에 참여했다. 이 모델이 겨냥하는 것은 진단 자체의 대체가 아...
모델 증류는 2026년 10월 9일 Redwood Research가 발표한 논문에서 증언대에 올랐다. 이 정렬 연구 기관은 증류를 안전에 활용하는 두 가지 경로를 실증적으로 검증했다. 첫째인 '고발을 위한 증류'는 신뢰할 수 없는 강한 모델을 더 약한 신뢰 가능한 학생...
사전 학습은 대형 언어 모델 훈련의 첫 단계입니다. 모델이 대화와 코딩을 배우기 전에, 방대한 텍스트를 놓고 하는 일은 하나, 다음 단어를 반복해서 맞히는 것입니다. 이 단계에서는 예의도, 지시를 따르는 법도 가르치지 않습니다. 언어의 통계적 패턴, 사실 사이의 연결,...
InnovationEval은 Epoch AI가 2026년 10월 9일 공개한 새 평가로, 질문은 단순하다. 인간의 논문을 숨긴 채 답을 본 적 없는 프런티어 모델에게 그에 필적하는 기계학습 신기술을 스스로 발견하게 하면, 해낼 수 있을까. 첫 결과는 냉정했다. 최고 성...
Microsoft-Decision-1은 2026년 10월 9일 마이크로소프트가 공식 블로그를 통해 공개했으며, 현재 Microsoft Foundry에서 사용할 수 있고 곧 OpenRouter에도 제공될 예정이다. 긴 글을 쓰지도, 개방형 추론을 하지도 않는다. 고정된 ...
