OpenAI 활성화 분류기는 11월 2일 OpenAI 정렬 연구 블로그에 등장했다. OpenAI에 따르면 GPT-5.6부터 probe로 약칭되는 이 경량 모델이 가장 강력한 모델들의 내부 및 외부 트래픽에 배포되어 모든 어시스턴트 응답을 대상으로 한다. 출력 텍스트만 읽는 것이 아니라 모델 자체의 내부 활성화 신호를 읽어 토큰마다 점수를 매기고, 점수가 임계값을 넘으면 생성 도중에 위반 응답을 멈출 수 있다. 이것이 기존 텍스트 분류기와의 핵심 차이다.
| 비교 항목 | 텍스트 분류기 | 활성화 분류기 |
|---|---|---|
| 판단 근거 | 출력 텍스트 | 모델 내부 활성화 |
| 차단 시점 | 텍스트 전체로 판단 | 토큰마다 채점, 임계값 초과 시 중단 |
| 탈옥(jailbreak) 강건성 | 상대적으로 약함 | OpenAI 실험에서 더 강건함 |
배포 시 probe는 추론 엔진에서 직접 실행되어 샘플링된 토큰마다 하나의 점수를 반환한다. 임계값을 넘으면 시스템은 사용자에게 계속 스트리밍되는 출력을 중단하고, 해당 메시지를 추론 모델에 넘겨 최종 판단을 받으며, 도구 호출도 안전이 확인될 때까지 막는다. 훈련에는 최대 100만 건의 메시지가 사용되며, 합성 데이터와 식별 정보가 제거된 대화를 포함하고, 라벨은 가장 강력한 추론 모델이 판정하며, 하나의 설정은 보통 최소 32개의 무작위 초기화를 훈련한 뒤 가장 좋은 것을 고른다. OpenAI는 또 probe의 정확도가 모니터링 대상 모델의 능력이 오를수록 높아진다는 것을 확인했는데, 이는 입력이 변하지 않는 텍스트 분류기와 다르다.
알려진 위반 유형만 탐지할 수 있고, 기반 모델을 바꾸면 재훈련이 필요
probe의 한계도 분명하다. 레이블이 있는 훈련 데이터에 의존하며, 알려지고 측정 가능한 종류의 바람직하지 않은 활동만 탐지할 수 있고, 훈련 데이터에 없는 경우는 적용 범위 밖에 있다. 각 probe는 특정 모델의 활성화와 밀접하게 결합되어 있어, 가중치 초기화가 다른 기반 모델로 바꾸면 재훈련해야 한다. 같은 기반 모델 계열 안에서는 probe가 사후 훈련 체크포인트 사이에서 잘 전이되지만, 사전 훈련 체크포인트를 넘는 전이는 제한적이어서 주기적인 재훈련이 필요하다. OpenAI는 probe를 모델 기반 검토, 자동 조사, 사람 대응과 함께 더 포괄적인 모니터링 체계 안에 두었으며, 하나의 분류기가 혼자 결론을 내리게 하지 않는다. 사용자에게 이번 공개의 의미는 특정 차단 수치가 아니라, 안전 모니터링이 '텍스트를 다 읽은 뒤 판단'에서 '생성하면서 판단'으로 이동하고, 탈옥 대결의 무대가 모델 내부로 옮겨졌다는 점에 있다.
