BioBasicsBench는 OpenAI가 2026년 11월 6일 공개한 새 벤치마크다. 교과서식 생물학 문제가 아니라 모델에 실제 습식 실험실 과제 100개를 직접 맡긴다. 젤 이미지를 읽고, 콜로니를 세고, 현미경 사진을 해석해 실험 결론이 성립하는지 판단하게 한다. 효소 설계 기업 Ligo와 공동 개발한 이 벤치마크에서 최신 모델 GPT-6 Astra는 평균 66.7%를 기록해 이전 세대 GPT-5.6 Sol보다 22.9%포인트 높았다. 다만 OpenAI는 경고한다. 점수가 올랐다고 모델이 과학자를 대신할 수 있는 것은 아니다.
무엇을 재는가: 실제 실험이 남긴 날것의 증거
100개 과제는 단백질 실험, 이미징과 유세포 분석, 정량 분석, 핵산 실험, 분자 클로닝이라는 다섯 가지 일상 영역을 다루며, 증거는 모두 Ligo 과학자 자신의 실험에서 가져왔다. 젤·블롯 이미지, 콜로니 플레이트 사진, 현미경 이미지, 시퀀싱 파일, 기기가 내보낸 표, 실험 조작 영상까지 포함된다. 각 과제에는 전문가가 작성한 채점 기준이 붙어 3단계 심사를 거쳤다. OpenAI는 7개 모델과 37가지 모델·추론 강도 조합을 측정했고, 과제마다 5회씩 실행해 총 18,500건을 채점했다. 최고 추론 강도에서 GPT-6 Astra는 평균 66.7%(95% 신뢰구간 60.3%~73.1%), GPT-6.1 Sol은 62.0%, GPT-5.6 Sol은 43.8%에 그쳤다. GPT-6 Cyber는 앞서 Linux 커널 평가에서 권한 상승 취약점 948개를 찾아냈다. 다만 한쪽은 취약점을 찾는 시험, 다른 한쪽은 실험을 읽는 시험이다.
66.7%의 의미, 그리고 의미하지 않는 것
주목할 점은 순위가 하나 늘었다는 것이 아니라 출제 방식이 바뀌었다는 것이다. 기존 과학 벤치마크는 논문에서 고른 깔끔한 도표가 중심이라, 모델이 거기서 정답을 맞혔다고 실제 실험의 혼란—실패한 실험, 흐릿한 이미지, 모순되는 관찰—을 다룰 수 있다는 뜻은 아니다. BioBasicsBench가 재는 것이 바로 그 지점이다. 모델은 증거가 부족함을 알아채고 대조 실험의 문제를 발견해야 한다. 공개된 사례에서 Astra는 두 형광 염료의 검출 파장이 겹쳐 밝기를 직접 비교할 수 없음을 알아챘고, 음성 대조 플레이트에 표기된 항생제가 잘못됐음도 발견했다. 같은 OpenAI는 최근 연구 모델이 평가에서 잘못 판단한 두 사례도 공개했으며, 약점을 숨기지 않는다. 다만 한계도 분명하다. 측정된 7개 모델은 모두 OpenAI 제품으로, 인간 기준선도 타사 모델도 없다. 66.7%는 채점 기준에 따라 환산한 평균 점수일 뿐, '3분의 2 문제를 풀었다'는 뜻도, 합격률도 아니다.
다음에 볼 것은 두 가지다. OpenAI가 데이터셋과 채점 기준, 채점 코드를 공개해 다른 연구실이 점수를 재현하고 자사 모델을 측정할 수 있게 할지, 그리고 Astra의 약점이 다음 번에 줄어들지다. 개별 과제에서 Astra는 여전히 선입견에 끌려 콜로니를 잘못 고르거나 자기에게 유리한 관찰만 취하기도 한다. 생명과학 연구자에게 이 벤치마크는 지금으로선 능력 지도로 읽는 편이 맞다. 모델이 실험의 어느 단계에서 도움이 되고 어느 단계는 사람이 확인해야 하는지를 보여줄 뿐, 연구실에 들어갈 자격증은 아니다.
