벤치마크는 AI 모델을 위한 표준 시험이다. 문제와 채점 규칙이 고정되어 있고, 여러 모델이 같은 문제를 풀어 점수를 비교한다. 필요한 이유는 실무적이다. 모든 업체가 자사 모델이 더 강하다고 주장하니, 나란히 비교할 자가 필요하다. 대표적인 시험 유형으로는 기억력을 보는 지식 문답, 추론을 보는 수학·논리 문제, 테스트를 실행해 채점하는 코딩 과제, 긴 문서를 읽은 뒤 세부 내용을 기억하는지 보는 문제, 그리고 사람이 두 답변을 블라인드로 비교해 순위로 환산하는 아레나형 평가가 있다.
점수는 어떻게 매겨지는가
출제 측은 문제와 채점 방식을 먼저 확정한다. 객관식은 정답과 대조하고, 수학은 최종 결과를 확인하며, 코드는 테스트 케이스를 실행하고, 서술형 답변은 다른 모델이나 인간 채점자가 평가한다. 전제는 하나다. 같은 문제, 같은 자. 어떤 모델이 문제를 미리 봤다면 비교는 성립하지 않으며, 아래 왜곡이 여기서 생긴다.
점수는 높은데 실사용이 아쉬운 세 가지 이유
첫째, 모델이 시험을 이미 '본 적' 있을 수 있다. 공개 벤치마크는 수년간 웹에 올라 있고, 학습용 크롤링이 문제와 정답을 함께 수집하는 일이 드물지 않다. 이때 모델은 푸는 것이 아니라 떠올리는 것이며 점수는 부풀려진다. 업계에서는 데이터 오염이라 부른다. 둘째, 시험은 능력의 일부만 잰다. 객관식을 잘 풀어도 내 말투로 원고를 세 번 고칠 수 있는지, 업계 용어를 제대로 처리하는지, 엉망인 회의 기록을 쓸 만한 메모로 정리하는지는 알 수 없다. 점수는 단일 과목 성적이지 종합 평가가 아니다. 셋째, 고득점 구간은 포화된다. 주요 모델이 모두 90점을 넘으면 1~2점 차는 채점의 세부 사항이나 운에 가까워진다. 실제로 감사에서 문제 자체의 결함이 발견돼 인기 코딩 시험이 폐기된 사례도 있어, 시험도 낡고 고장 난다는 점을 보여준다.
흔한 오해: 리더보드를 종합 순위로 보는 것
리더보드를 '종합 실력 순위'로 보고 1위면 무엇이든 최고라고 단정하는 사람이 많다. 정확히는 특정 시험, 특정 시점의 단일 측정 결과일 뿐이다. 내 업무에 가까운 문제로 바꾸면 순위는 얼마든지 뒤집힌다. 공개되고 논의된 기간이 긴 시험일수록 참고 가치는 빨리 떨어진다.
리더보드를 읽는 세 가지 원칙
시험이 내 용도와 닮았는지 먼저 본다. 주로 코드를 쓴다면 코딩 시험을 중시하고 글쓰기 순위는 참고로만 삼는다. 근소한 차이는 동점으로 취급한다. 1~2점 때문에 추가 비용을 내거나 손에 익은 도구를 버릴 이유는 없다. 마지막으로 내 실제 업무로 직접 재검증한다. 자주 하는 일 서너 가지를 골라 같은 지시로 두 모델에 시켜 보고 결과를 나란히 비교한다. 그 10분이 어떤 리더보드보다 적성을 잘 알려준다.
