벤치마크 오염이란 평가에 사용하는 문제나 정답이 모델 학습 전에 이미 학습 데이터에 섞여 들어간 상태를 말합니다. 모델은 현장에서 문제를 푸는 것이 아니라 기억에 의존해 답합니다. 점수는 높아 보이지만 그것만으로 모델이 그 능력을 정말로 갖췄다고 증명할 수는 없습니다.
오염은 어떻게 발생하는가
가장 흔한 경로는 공개된 벤치마크가 그대로 학습 말뭉치에 수집되는 경우입니다. 평가 문제가 공개되면 크롤러가 웹페이지, 논문, 코드 저장소, 질의응답 게시글에서 이를 수집하고, 방대한 텍스트와 함께 모델에 전달합니다. 두 번째는 간접적인 유출입니다. 문제가 다시 쓰이거나 번역되거나 토론 게시글로 쪼개지고, 정답이 해설 글 속에 숨겨져 모델은 같은 문제를 다른 표현으로 기억하게 됩니다. 세 번째는 평가 과정에서 발생합니다. 같은 문제 집합을 반복 사용해 설정을 조정하고 모델을 고르다 보면 점수가 서서히 위쪽으로 '조정'되고, 벤치마크는 심판 역할을 잃게 됩니다.
점수가 부풀려졌다고 능력이 가짜인 것은 아니다
벤치마크 오염은 모델이 '컨닝을 했다'고 오해받기 쉽습니다. 대부분의 경우 이는 데이터 파이프라인의 문제이지, 모델이 의도적으로 답을 암기한 것이 아닙니다. 진짜 문제는 점수의 의미가 바뀐다는 점입니다. 측정 대상이 일반화 능력이 아니라 테스트를 얼마나 기억하고 있느냐가 되어 버립니다. 어떤 수학 문제 집합에서 매우 높은 점수를 받은 모델도 새로 공개된 유사한 문제 집합에서는 성적이 크게 떨어질 수 있습니다. 반대로 점수가 평범하다고 해서 모델이 쓸모없다는 뜻은 아닙니다. 능력이 있는 모델도 그 벤치마크의 출제 스타일을 접해 본 적이 없을 뿐일 수 있습니다.
점수를 믿기 전에 물어야 할 네 가지 질문
첫째, 문제가 얼마나 새로운가입니다. 벤치마크가 최근에 공개된 것인지, 학습 데이터와 중복 제거가 이루어졌는지 확인합니다. 둘째, 평가 방법이 투명한가입니다. 중복 제거 방법과 오염 검사 결과가 공개되었는지 봅니다. 셋째, 여러 증거가 있는가입니다. 같은 능력이 출처와 형식이 다른 여러 평가에서 안정적으로 나타나는지 확인합니다. 넷째, 실제 작업으로 확인하는 것입니다. 실제 업무 흐름에 작게 적용해 보지 못한 데이터에서의 동작을 살펴보면 순위표만 보는 것보다 훨씬 믿을 만한 판단을 내릴 수 있습니다.
흔한 두 가지 오해
한 가지는 '벤치마크 최적화'와 오염을 동일시하는 것입니다. 평가 형식에 맞춘 최적화나 가장 좋은 프롬프트를 고르는 것은 정당한 수험 대책입니다. 학습 데이터에 평가 내용 자체가 섞인 경우에만 오염입니다. 다른 한 가지는 오픈 모델만의 문제라고 생각하는 것입니다. 비공개 모델도 공개 말뭉치에 포함된 평가 문제라는 같은 문제에 직면합니다. 다를 뿐인 것은 외부에서 학습 데이터를 확인하기 어렵다는 점입니다. 모델 발표를 읽을 때는 점수를 반드시 평가 방법과 함께 보아야 합니다. 숫자 하나만으로는 거의 아무것도 알 수 없습니다.
