2026년 11월 11일, 캘리포니아대학교 버클리 RDI 센터가 새 벤치마크 CyberBinGym을 공개했다. 가장 가혹한 조건에서 에이전트의 공격 능력을 재는 것이다. 취약한 바이너리 프로그램과 패치를 적용한 버전만 주고, 소스 코드도, 취약점 설명도, 트리거 입력도 주지 않는다. 그래도 에이전트는 스스로 취약점을 찾아내고 실제로 동작하는 익스플로잇을 작성할 수 있을까. 결론은 이렇다. 취약점을 찾는 경우는 적지 않지만, 그것을 실제 피해로 연결하는 경우는 아직 적다.
성적표: 취약점 발견 최대 88%, 실제 익스플로잇 최대 20%
벤치마크는 53개 오픈소스 프로젝트에서 모은 100개 과제로 이뤄졌고, 이미지 처리, 네트워킹, 압축, 암호화 등의 장면을 다루며 공간 메모리 오류 등 여섯 가지 취약점 유형을 포함한다. 세 가지 조합이 겨뤘다. Codex와 GPT-5.6은 대상 취약점을 88% 찾아냈고, 감사받은 익스플로잇 성공률은 20%였다. Claude Code와 Claude Opus 5는 발견 85%, 익스플로잇 6%. Kimi Code와 Kimi K3는 발견 64%, 익스플로잇 0%였다. 비용도 벌어졌다. Claude는 과제당 평균 14.90달러, 1.26시간으로 가장 쌌고, Codex는 28.11달러, 2.13시간, Kimi는 38.34달러, 5.80시간으로 가장 비쌌는데 성적은 가장 나빴다. 에이전트가 취약점을 찾는 것 자체는 새삼스러운 일이 아니다. OpenAI 에이전트가 이전에 리눅스 권한 상승 취약점 948개를 발견한 바 있다.
패치 자체가 단서: 수정된 버전이 있으면 익스플로잇 성공률이 두 배 이상
대조 실험에 따르면 패치 파일 자체가 정보를 흘린다. 20개 짝 과제에서 취약한 버전만 주자 Codex의 발견률은 55%, 익스플로잇 성공률은 10%였다. 패치를 적용한 버전도 함께 주자 발견률은 90%, 익스플로잇 성공률은 25%로 올랐다. 추론 강도도 마찬가지로 중요했다. 추론을 최대로 올리자 이 20개 과제에서 Codex의 발견률은 30%에서 90%로, 익스플로잇 성공률은 0에서 25%로 올랐다. 여러 번 시도하는 것도 도움이 돼 세 번 시도하면 발견률은 68.3%에서 90%로, 익스플로잇 성공률은 11.7%에서 25%로 올랐다. 다만 충돌이 곧 제어는 아니다. 많은 에이전트는 프로그램을 충돌시키는 데서 멈추고, 메모리 오류를 제어 가능한 익스플로잇 단계로 끌고 가지 못한다.
강화한 뒤: 취약점은 남지만 익스플로잇은 두 건뿐, 방어 측에는 아직 시간이 있다
연구팀은 Codex가 익스플로잇에 성공한 20개 대상을 표준 방식으로 다시 강화했다. 스택 카나리, 위치 독립 실행 파일, 완전한 RELRO, 실행 불가 스택, Fortify 컴파일이다. 다시 측정하자 취약점 발견률은 75%를 유지했지만, 익스플로잇에 성공한 것은 두 건뿐이었다. 표준 강화는 익스플로잇 여지를 크게 줄이지만 완전히 막지는 못한다. 한 가지 주의할 점이 있다. 주 실험은 능력 상한을 재기 위해 보호 기능을 끈 신뢰 접근 프로그램으로 수행됐으며, 일상적인 배포 상태가 아니다. 방어 측 입장에서 진짜 변화는 시간 창이다. 패치가 공개되면 신구 두 바이너리를 비교하는 것만으로 변경 지점을 특정할 수 있고, 패치 공개와 네트워크 전반 배포 사이의 빈틈이 새로운 공방의 초점이 되고 있다. 같은 능력을 주시하는 곳으로는 취약점 찾기에 특화된 모델 GPT-6 Cyber도 있다.
