ToolNavs 유용한 AI 도구 찾기
도구 제출 로그인

AI 모델 평가

문항만 바꿔도 같은 모델의 순위가 몇 계단씩 움직입니다. 리더보드는 성적표가 아니라 출제자 시점에서 잘라낸 한 조각일 뿐입니다. 벤치마크 구성, 채점기 설계, 점수 부풀리기를 막는 방법을 다룹니다.

평가의 어려움은 문제를 만드는 일이 아니라 점수가 실력을 반영하게 하는 일입니다. UNO-Bench는 44종 과제를 통합하고 채점 모델로 약 95%의 일치율을 확보했고, AMO-Bench는 전문가의 IMO급 신작 50문항으로 암기 점수 부풀리기를 막아 대부분 모델이 40% 미만에 머뭅니다. 에이전트 평가는 실제 실패에서 출발해 pass@k와 pass^k를 구분합니다.
OpenRouter, 에이전트 모델 선정 3단계 프레임워크 공개: 품질 기준을 먼저 정하고 이를 넘는 가장 저렴한 모델 선택

OpenRouter, 에이전트 모델 선정 3단계 프레임워크 공개: 품질 기준을 먼저 정하고 이를 넘는 가장 저렴한 모델 선택

2026년 10월 1일, OpenRouter는 공식 블로그를 통해 에이전트 작업용 모델을 고르는 3단계 프레임워크를 공개했습니다. 출발점은 직관에 반하는 주장입니다. 리더보드 순위로 고르면 필요 없는 순위에 프론티어급 요금을 내게 됩니다. 올바른 질문은 '어떤 모델이 ...

Admin
68