Ai2는 2026년 10월 27일 'AI가 연구 아이디어의 신규성을 어떻게 판단하는가'에 대한 연구를 발표하면서 평가 벤치마크와 데이터, 코드, 평가 세트를 자동으로 만드는 파이프라인을 함께 공개했다. 결론은 직설적이다. 대규모 언어 모델은 신규성 심사위원으로 믿을 수 없다. 프롬프트를 몇 마디만 바꿔도 같은 아이디어에 대한 판정이 뒤집힌다.
벤치마크를 만든 방식이 이 연구의 신뢰를 지탱한다. 연구팀은 '논문이 채택됐다'는 것을 신규성과 같은 뜻으로 보지 않았다. 대신 ICLR 2026 동료 심사평을 직접 뒤져 심사위원이 독창성을 명시적으로 논한 대목을 찾았다. 신규성이 높은 그룹은 154개 아이디어로, 분야별 상위 10%에 들어 채택된 논문에서 왔으며 대다수 심사위원이 독창성을 인정했고 반박은 없었다. 낮은 그룹은 145개로, 하위 10%의 탈락 논문에서 왔으며 심사위원이 독창성에 의문을 제기했고 긍정 평가는 없었다. 표본 검사에서 주석자는 50건 중 47건에서 추출된 신규성 신호에 동의했다. 두 번째 대조군은 154개의 인간 아이디어를 문헌 검색도, 반복 개선도 하지 않는 단순 생성기의 아이디어와 짝지었으며, 연구팀은 후자의 라벨이 약한 라벨로 낱낱이 검증되지 않았음을 솔직히 밝혔다.
눈에 띄는 것은 프롬프트가 판정을 얼마나 흔드는지다. GPT-5.1, GPT-5.2, GPT-5.4, Claude Sonnet 4.5, Claude Opus 4.5, Claude Opus 4.6 등 여섯 심사위원을 테스트했다. 같은 짝에서 몇 마디만 바꿨다. 한 버전은 '심사위원이 둘 중 하나가 새롭다고 판단했으니 어느 것인지 말하라'고 했고, 다른 버전은 '어느 아이디어가 새로운가'라고만 물었다. 그러자 GPT-5.4의 정확도는 93.5%에서 40.9%로 떨어져 무작위 추측 아래로 내려갔고, 절반이 넘는 짝에서 판정이 뒤집혔다. 인간 아이디어끼리의 대조도 예외가 아니었다. 같은 변경으로 Claude Opus 4.6의 정확도가 21%포인트 움직였다. 그리고 모든 모델에 가장 좋은 프롬프트는 없었다. 한 모델을 돕는 표현이 다른 모델에는 해가 될 수 있었다.
연산량을 늘려도 결과는 살아나지 않았다. GPT-5.6 Sol에 매우 높은 추론 예산과 실시간 검색을 줘도 macro-F1은 0.78에 머물러 Claude Opus 4.6보다 11포인트 낮았고, 판정 한 건당 비용은 약 10배였다. 전용으로 만든 두 시스템은 더 나빴다. Idea Novelty Checker는 0.642에 30.66달러, Sakana AI의 AI Scientist 평가기는 0.772에 82.05달러였지만, 단순한 Claude Opus 4.6 프롬프트 기준선은 세 번 투표로 0.854를 기록했고 비용은 2.59달러에 불과했다. 가장 비싼 방식이 더 정확하지도, 더 안정적이지도 않았다.
논문을 읽는 사람에게 주는 의미
이 연구가 겨냥한 것은 'AI가 과학을 할 수 있는가'가 아니다. 자동 아이디어 생성 논문에 흔한 한 문장, 즉 'LLM 심사위원이 그렇게 말하니 우리 시스템이 더 새롭다'는 주장이다. 심사위원 자체가 프롬프트에 따라 뒤집힌다면 이런 신규성 점수를 증거로 삼기 어렵다. Ai2의 조언은 구체적이다. 신규성은 모델이 실제로 평가받게 될 대상, 곧 AI가 생성한 아이디어로 측정하고, 인간 논문으로만 검증하지 말 것. 프롬프트와 모델을 넘나들며 민감도를 보고할 것. 벤치마크를 문헌과 함께 성장시킬 것. 논문의 arXiv 두 번째 버전은 10월 14일에 나왔다. 10월 27일 발표에서 새로운 점은 벤치마크와 파이프라인이 완전히 공개됐다는 것이다. 자동 연구 워크플로를 만드는 팀에게는 시의적절한 경고이다. '새롭다는 것을 어떻게 증명할 것인가'를 먼저 단단히 한 뒤에야 시스템이 얼마나 잘 생각하는지를 논해야 한다.
