레드티밍은 공격자의 자리에 선 사람을 고용해, AI가 잘못된 행동을 하거나 거부해야 할 말을 하거나 지켜야 할 정보를 흘리도록 일부러 유도하는 방법을 찾아 출시 전에 구멍을 막는 검증입니다. 사이버 보안에서 온 용어로, 레드팀이 공격하고 블루팀이 방어합니다. 재는 것은 정상적인 사용에서 얼마나 잘하는지가 아니라, 누군가 작정하고 흔들 때 버텨내는지입니다.
레드팀은 무엇을 시도하나
시도는 몇 가지로 나뉩니다. 하나는 금지 콘텐츠 유도입니다. 표현을 바꾸고 문장을 쪼개고 돌려 말하며 거부해야 할 내용을 끌어낼 수 있는지 봅니다. 하나는 프롬프트 인젝션으로, 웹페이지나 문서, 이미지 속에 지시를 숨겨 모델이 외부 문자를 주인의 명령처럼 따르는지 확인합니다. 하나는 개인정보 캐내기로, 공개 정보의 조합과 친한 척하는 말투로 개인 정보나 회사 내부 자료를 끌어낼 수 있는지 시험합니다. 또 하나는 편향과 사실성 검증으로, 유도 질문에 모델이 사용자 입장에 맞춰 이야기를 지어내지 않는지 봅니다. 공통점은 질문하는 쪽이 처음부터 악의를 품고 있고, 질문이 까다로울수록 좋다는 것입니다.
일반 테스트와도, 가드레일 자체와도 다르다
일반 테스트는 협조성을 잽니다. 정해진 문제 세트에 정확도와 속도를 매기는 모의고사와 같습니다. 레드티밍은 저항력을 잽니다. 문제 은행이 다루지 않은 구석을 노리며, 흠잡는 일을 직업으로 삼은 사람을 고용하는 셈입니다. 가드레일은 그다음의 결과입니다. 우회 방법이 하나 성공할 때마다 규칙, 필터, 훈련 수정이 더해지고, 레드팀이 다시 와서 시도합니다. 가드레일이 방패라면 레드팀은 온갖 무기로 방패를 두드리는 쪽입니다. 아무도 두드려 본 적 없는 방패는 설계자가 상상한 공격만 막을 뿐입니다.
흔한 오해 세 가지
첫째, 레드티밍은 몇 사람이 아무렇게나 대화하며 운에 맡기는 일이라는 오해입니다. 전문적인 방식은 정반대입니다. 공격 수법은 분류해 기록하고, 성공한 우회는 재현과 분류가 가능해야 하며, 회귀 테스트 세트로 쌓여 모델이 업데이트될 때마다 다시 돌립니다. 둘째, 레드티밍을 통과하면 안전하다는 오해입니다. 증명되는 것은 알려진 공격이 시도됐다는 것뿐이며, 공격자는 출시 뒤에도 새 우회법을 계속 발명합니다. 그래서 성숙한 팀은 외부 업체와 버그 바운티까지 동원해 상시로 진행합니다. 셋째, 챗봇만의 이야기라는 오해입니다. AI가 도구를 호출하고 외부 자료를 읽고 사용자를 대신해 행동할 수 있게 되면, 피싱 메일 한 통에 파일을 지우거나 자료를 빼돌리도록 조종당하지 않는지까지 시험해야 하며, 이는 말 한마디의 실수보다 훨씬 큰 위험입니다.
AI 제품의 신뢰성을 판단할 때는 데모와 벤치마크 점수가 절반의 이야기일 뿐입니다. 공급자가 레드티밍을 공개적으로 이야기하는지, 누가 시험했고 무엇을 발견했으며 수정 뒤 재시험했는지를 살펴볼 가치가 있습니다. 맞은 기록을 꺼내놓는 공급자가 점수만 내세우는 쪽보다 대개 더 믿을 만합니다.
