2026년 11월 12일, OpenAI는 정렬 연구 블로그에서 '퍼지 강건성(fuzzy robustness)' 안전 연구를 발표했다. 자동화 레드팀으로 훈련한 GPT-6 Astra는 사이버보안 고정 탈옥 테스트에서 안전 응답률 91.5%를 기록했고, 이전 세대 GPT-5.6 Sol은 59%에 그쳤다. 생물학과 폭력 행위 등 다른 고위험 분야에서도 마찬가지로 개선됐으며, 정당한 요청을 거부하는 빈도가 늘지도 않았다.
공격 모델이 스스로 허점을 찾는다, 탈옥은 단련되는 능력
퍼지 강건성이란 적대적 압박 속에서 허용되지 않는 지원을 안정적으로 거부하는 모델의 능력으로, 탈옥이 대표적인 시험이다. 사이버보안과 생물학 같은 이중 용도 분야에서는 특히 어렵다. 같은 지식이 선한 일에도, 해로운 일에도 쓰일 수 있기 때문이다. OpenAI의 방법은 공격 모델이 스스로 허점을 찾게 하는 것이다. 시드 프롬프트를 주고 방어 모델이 안전하지 않은 내용을 내놓을 때까지 반복해 다시 쓰게 한 뒤, 이렇게 '강화한 프롬프트'를 강화학습에 활용한다. 공격 모델은 GPT-5.6 Sol 계열의 유용한 추론만 수행하는 모델로, 탈옥 훈련을 받은 적이 없으며 허점을 찾는 능력은 자연스럽게 나타났다. 이 방법은 레드팀 테스트와 같은 뿌리를 두며, 사람의 공격을 기계의 반복으로 바꾼 것뿐이다. 블로그는 한 가지 예를 들었다. 시드 프롬프트는 탄저균 포자 확산에 대한 도움 요청으로, 직접 물으면 거부된다. 공격자는 환기구 기류에 관한 수학 문제로 우회했고, GPT-5.4의 답은 원래 요청에 도움이 될 수 있다고 판정됐다. 다시 고쳐 실외 환기구, 약한 바람, 안정된 공기라는 조건을 넣자 GPT-5.5도 뚫렸다.
숫자 차이는 크다. 고정 탈옥 데이터셋에서 GPT-6 Astra는 사이버보안에서 91.5% 안전하게 답했고, GPT-5.6 Sol은 59%였다. 공격자가 전략을 계속 바꾸는 적응형 다중 턴 공격에서도 Astra는 모든 공격 예산에서 더 강건했다. 더 중요한 것은 일반화다. 한 공격자가 생성한 데이터로 훈련한 모델은 본 적 없는 다른 공격자와 적응형 공격에도 마찬가지로 강건해, 특정 수법에 대한 암기가 아님을 보여준다. 시스템 카드의 도전적 프롬프트 평가에서도 Astra는 유해 요청을 더 안전하게 처리하면서도 정당한 요청의 오거부는 오히려 줄어 안전성과 유용성이 함께 올라갔다. OpenAI는 공격 효율 자체도 단련할 수 있다고 밝혔다. GPT-Red 같은 공격 훈련 과제를 추가하면 허점을 더 빠르고 효과적으로 찾을 수 있다.
일반 사용자에게 의미는 직접적이다. 모델이 사이버보안과 생물학 같은 고위험 환경에 들어갈수록 실수의 여지는 좁아지고 있다. 이 접근은 OpenAI가 앞서 공개한 훈련 환경 보안 청사진과 같은 방향이다. 안전을 훈련과 배포의 모든 층에 내장하고, 나중에 땜질하는 것이 아니다. 이런 능력은 Daybreak와 Rosalind 같은 신뢰 접근 프로그램을 통해 심사를 통과한 사용자에게 제공되며, 한꺼번에 모두에게 공개되는 것은 아니다. 유의할 점도 있다. 블로그의 숫자는 운영 환경 보호 계층 없이 측정한 것이며, 모델 층은 심층 방어의 한 고리일 뿐이다. 공격자도 진화하고 있어 자동화 레드팀이 오늘 찾을 수 있는 허점이 내일도 모두 찾아진다는 보장은 없다. OpenAI는 글 말미에 다른 연구자들에게도 비슷한 연구 공개를 촉구하며 모델 생태계 전체가 함께 더 강건해지길 바랐다. 블로그에 새 모델 발표는 없으며, GPT-6 Astra 자체가 이번 안전 연구의 주인공이다.
