MedChemBench가 나왔다. OpenAI는 11월 20일 의약화학 추론 벤치마크를 공개했다. 실제 논문과 특허에서 가져온 99개 문제로 모델이 의약화학자처럼 사고할 수 있는지를 측정한다. GPT-6.2 Astra는 종합 84.5%를 기록했지만, 정작 봐야 할 것은 총점이 아니다. 분자 구조를 그리는 데는 거의 만점에 가까운데, 어떤 후보 물질을 추진할지 결정하는 과제에서는 점수가 절반 수준으로 떨어진다.
문제는 117편의 논문과 특허에서 나왔고 761개의 서로 다른 분자 구조를 다루며 7개 범주로 나뉜다. 대상은 전임상 신약 개발이고 임상 개발은 포함하지 않는다. 채점은 네 영역이다. 구조도와 화학 그룹을 보고 분자를 복원하는 것, 실험 데이터를 근거로 결과를 설명하는 것, 화합물을 정렬해 후보를 고르는 것, 수치와 범주를 예측하는 것이다. 현재 OpenAI는 자사 모델만 측정했다. 최고 추론 설정인 xhigh에서 GPT-6.2 Astra 84.5%, GPT-6 Astra 83.3%, GPT-6.1 Sol 82.0%, GPT-5.6 Sol 58.2%였다.
구조는 거의 만점, 후보 선택은 절반
항목별 점수를 보면 약점이 분명하다. GPT-6 Astra는 분자 구조 복원에서 95.4%, 과학적 설명에서 91.05%를 받았지만, 화합물 정렬과 선택은 50.42%, 수치 예측은 47.02%에 그쳤다. 다시 말해 알려진 분자를 정확히 그리고 논리를 설명하는 데는 능숙하지만, 여러 후보 가운데 가장 유망한 것을 고르고 신뢰할 만한 수치를 붙이는 단계에서는 절반 수준이다. 그런데 의약화학자가 실제로 시간을 쏟는 곳이 바로 그 후반부다.
이 결과는 두 부류의 독자에게 직접적인 의미가 있다. 신약 개발팀은 MedChemBench를 자로 삼을 수 있다. 구조와 설명에서의 강점은 활용하고, 후보 선택과 예측에는 사람의 검토를 남겨두면 된다. 일반 독자는 한 가지 오해를 조심해야 한다. 84.5%가 AI가 신약을 발견할 수 있다는 뜻은 아니다. OpenAI도 발표에서 스스로 선을 그었다. 이 결과가 모델이 신약을 발견하거나 실험실 판단을 개선할 수 있음을 보여주는 것은 아니며, 출처 논문을 미리 접했을 가능성을 배제할 수 없고, 각 문제는 도구도 피드백도 새 실험도 없는 단 한 번의 답변으로 풀렸다. 게다가 아직은 OpenAI 자사 모델만 평가받아 외부 모델과의 비교도 없다.
앞으로 주목할 점은 두 가지다. OpenAI가 이 벤치마크를 타사 모델에도 개방할지, 그리고 실제 연구 흐름에 가까운 개방형 과제로 발전시킬지다. 의약화학의 시험장은 마련됐지만, 모델이 현장에 투입되려면 아직 멀었다. 최고점을 받은 모델 자체에 대해서는 GPT-6.2 Astra와 Sol 발표 해설을 참고하면 된다.