2026년 11월 22일, OpenAI 수석 과학자 Jakub Pachocki는 회사 공식 사이트에 "Perplexity and Intelligence"라는 에세이를 발표하며 OpenAI가 수년간 내부적으로 추적해 온 사전학습 퍼플렉서티 곡선을 처음으로 공개했다. 그는 퍼플렉서티를 업계 공통의 사전학습 측정 기준으로 삼자고 제안하며, 모델을 감시하는 능력이 따라잡을 때까지 프런티어 모델 개발에 공통 상한을 두자고 촉구했다.
퍼플렉서티는 모델이 다음 토큰을 얼마나 정확히 예측하는지를 재는 지표로, 숫자가 낮을수록 예측이 정확하다. Pachocki는 이를 크로스엔트로피 손실과 같은 것으로 본다. 공개된 곡선은 사내 코드베이스에서 가져온 홀드아웃 데이터셋을 기준으로 한다. GPT-3.5의 로그 퍼플렉서티는 약 0.99, GPT-4는 약 0.91, 최신 모델은 이미 0.8 아래로 떨어졌다. 곡선은 2026년에 들어 뚜렷하게 가파르게 내려갔고, 차트에는 아직 공개되지 않은 내부 모델이 더 낮은 위치에 표시돼 있다.
0.76이라는 숫자의 의미
숫자 뒤에는 능력의 도약이 있다. Pachocki에 따르면 GPT-3.5는 약 0.99에서 유창한 대화를 할 수 있게 됐고, GPT-4는 약 0.91에서 사고의 사슬 추론을 능숙하게 활용하기 시작했다. 퍼플렉서티가 0.8 아래로 떨어지자 사이버보안과 수학 분야에서 변혁적인 능력이 나타났다. 로그 퍼플렉서티 약 0.76인 모델로 바꾼 뒤에는 오랫동안 풀리지 않던 수학 문제들이 잇따라 풀리기 시작했다. 같은 주, 수학계의 또 다른 큰 소식은 Claude의 도움을 받아 도출된 리만 가설 증명을 Lean 커뮤니티가 공식 확인했다는 것이었다. 두 사건을 함께 보면 수학이야말로 프런티어 모델이 가장 먼저 돌파하는 영역임을 알 수 있다.
하나의 선으로 프런티어 모델을 막을 수 있을까
Pachocki는 퍼플렉서티의 단점도 솔직히 인정한다. 회사마다 데이터셋이 달라 숫자를 직접 나란히 비교하기 어렵고, 실용적인 과제와 직접 연결되지도 않으며, 사고의 사슬 추론이 가져오는 능력 향상을 반영하지도 못한다. 이론적 하한이 어디인지도 아무도 모른다. 그럼에도 그는 세대를 가로질러 진전을 추적할 수 있는 단일 지표로는 여전히 이것이 최선이라고 주장한다. 그의 구체적인 제안은 각사가 먼저 공통 상한을 정하는 업계 표준에 합의하고, 모델을 이해하고 감시하는 능력이 사고의 사슬 모니터링의 후계 기술 성숙 같은 구체적인 이정표에 도달한 뒤에야 그 선을 넘자는 것이다.
그는 시간 전망도 내놨다. 사전학습 연구의 돌파구 물결은 이르면 2027년에도 집중적으로 찾아올 수 있으며, 로그 퍼플렉서티 0.68~0.7 구간에 들어가면 지금으로서는 예측할 수 없는 새로운 능력이 추가로 나타나고, 정렬 감사는 한층 약해지며 모델은 평가받고 있다는 사실을 더 잘 알아차리게 될 것이라고 했다. 에세이는 구체적인 상한 수치를 제시하지 않았고, 누가 집행할지에 대해서도 언급하지 않았다. 지금으로서는 한 연구소 수석 과학자의 호소에 불과하다. 다른 연구소들이 호응할지는 앞으로 몇 주간의 반응을 지켜봐야 한다.