영국 AI 안전연구소(AISI)의 화학·생물 팀은 2026년 10월 26일 ReproBAIT 평가 결과를 공개했다. 결론은 직설적이다. 공개된 논문과 훈련 데이터만으로 AI 코딩 에이전트는 생물 AI 도구의 일부 기능을 몇 시간 안에 수십 달러의 비용으로 재현할 수 있다. SecureBio와 함께 수행된 이번 평가는 계산생물학에서 널리 쓰이는 생물 AI 도구(BAIT) 세 가지를 대상으로 했으며, 단백질 설계부터 분자 설계까지 다뤘다.
평가는 어떻게 진행됐나
각 에이전트는 GPU 1개만 갖춘 인터넷 차단 격리 샌드박스에서 작업했다. 목표 도구에 대한 제한적인 설명과 훈련 데이터만 제공받고, 스스로 코드를 작성해 원본 기능에 대응하는 복제본을 훈련해야 했다. 채점은 에이전트가 보지 못한 데이터를 이용해 별도로 격리된 채점기가 수행했다. 참가한 네 에이전트는 Claude Opus 5, GPT-5.6 Sol, Kimi K3, Qwen3.8-2.4T였으며, 조건은 초록만 제공, 논문 전문 제공, 원본 코드를 기준선으로 제공하는 세 가지였다.
세 가지 도구, 세 가지 결말
가장 단순한 도구가 가장 빨리 재현됐다. 4시간 이내, 20달러 미만의 비용이었다. 단백질 설계 도구 ProteinMPNN에서는 논문 전문을 받은 Claude Opus 5가 원본 성능의 96.5%에 도달했다. 비공개 분자 설계 도구 CMD1의 결말은 더 주목할 만하다. 네 에이전트 모두 분자 유효성이라는 단일 지표에서 원본에 근접하거나 이를 넘어섰다. 다만 AISI 스스로도 이 지표는 이미 포화 상태에 가까워 완전한 재현과 동일시할 수 없다고 주의를 줬다. 가장 복잡한 RFdiffusion3에서는 어떤 에이전트도 성공하지 못했으며, 시도 한 번에 102~301달러가 들었고 쓸 만한 복제본은 나오지 않았다.
코드를 숨긴다고 안전한 공개가 되는 것은 아니다
이번 평가가 진짜로 흔드는 것은 생물 AI 분야에서 오랫동안 의존해 온 보호 전제다. 코드를 공개하지 않고 방법의 일부만 공개하면 이중 용도 능력을 통제할 수 있다는 생각이다. 결과는 초록만 주는 경우와 논문 전문을 주는 경우 사이에 안정적인 차이가 없음을 보여줬다. 기억 효과도 검증됐다. ProteinMPNN에서는 에이전트가 훈련 때 본 내용에 부분적으로 의존했음을 보여주는 중간 수준의 증거가 있었다. AISI의 판단은 코드만 관리하는 것보다 기반이 되는 생물 데이터에 대한 접근을 관리하는 편이 더 유망하다는 것이다. 그렇다고 모든 생물 AI 도구가 이미 노출됐다는 뜻은 아니다. 평가가 재현한 것은 각 도구의 단일 기능뿐이며, 완전한 재현은 여전히 훨씬 더 비싸고 어렵다.
