2026년 11월 6일, 구글 딥마인드는 인간 전문가의 감독 아래 AI 에이전트가 이미 퇴출된 1024비트 RSA 암호에서 두 가지 새로운 약점을 발견했다고 발표했다. 발표는 딥마인드 과학 담당 부사장 푸시미트 콜리가 맡았고, 연구는 지 드비조탐과 아브라딥 타쿠르타가 주도했으며, UC 샌디에이고의 나디아 헤닝거와 Inria의 에마뉘엘 토메가 참여했고, 기술 논문 두 편이 공개됐다. 결론부터 말하면 영향을 받는 것은 1024비트 RSA뿐이다. 현대 시스템이 널리 쓰는 2048비트 이상 키는 무사하고, 온라인 뱅킹, 메신저, 소프트웨어 업데이트, 디지털 화폐도 위협받지 않는다.
두 가지 약점은 무엇인가
첫 번째는 디지털 서명에 관한 것이다. 에이전트는 공격자가 서명 블록의 절반 이상을 통제하면 패딩이 거의 추가 보호를 제공하지 않아, 서명 위조가 패딩이 없을 때와 거의 같은 난이도가 된다는 것을 발견했다. 과거 학술 연구에서 나온 1024비트 벤치마크 키에서 에이전트의 구현은 기존 방법보다 3.5배 적은 CPU 시간으로 위조를 재현했고, 키 자체를 인수분해하는 데 필요한 연산량의 1,000분의 1도 쓰지 않았다. 공격자가 32바이트 디지털 지문처럼 작은 부분만 통제하는 더 어려운 경우에는 에이전트가 새 알고리즘을 도출했는데, 딥마인드의 이론적 추정에 따르면 1024비트 키에서 기존 최선의 방법보다 약 1,600배 우수하다.
두 번째는 일괄 인수분해에 관한 것이다. 에이전트는 점근 복잡도가 더 우수한 새 알고리즘을 찾아, 같은 비트 수의 1024비트 키를 묶어 인수분해할 때 키 하나를 추가하는 평균 비용을 기존 일괄 방법보다 약 30배 낮췄다. 두 실험 모두 샌드박스 안에서 진행됐고, 대상은 미국 국립표준기술연구소(NIST)가 2013년에 새 서명 생성 용도로의 사용을 중단한 1024비트 RSA다. 연구팀이 이를 택한 이유는 충분히 복잡하면서도, 공격해도 아무도 해치지 않을 만큼 오래됐기 때문이다.
숫자를 어떻게 읽을 것인가, 누가 영향을 받는가
1,600배와 30배라는 숫자는 나눠서 읽어야 한다. 1,600배는 이론적 추정치로, 공격자의 통제 범위가 작을 때만 해당한다. 실측값은 CPU 시간 3.5배 절감이다. 30배 역시 알고리즘 차원의 점근적 개선이지, 실제 키가 대량으로 깨졌다는 뜻이 아니다. AI에 취약점을 찾게 한다는 같은 방향에서, OpenAI의 GPT-6 Cyber는 소프트웨어 취약점 자동 발견에 특화됐고 권한 상승률은 0.07%까지 떨어졌다.
여기서 진짜 주목할 점은 "RSA가 깨졌다"는 것이 아니라, AI 에이전트가 암호해독이라는 어려운 수학 분야에서 스스로 알고리즘을 발전시킬 수 있게 됐다는 점이다. 딥마인드는 2048비트 RSA와 NIST 표준 양자내성 암호 알고리즘은 이번 결과의 영향을 받지 않는다고 분명히 밝혔다. 1024비트 RSA 레거시 시스템을 아직 운영하는 조직에게 진짜 할 일은 이전이지 공황이 아니다. 1024비트는 진작 퇴출됐어야 했다. 앞으로는 두 편의 논문이 암호학계의 검증을 견디는지, 그리고 에이전트 주도 암호해독이 다음에 어떤 알고리즘을 향하는지가 관전 포인트다.
