데이터 포이즈닝은 모델이 능력을 배우기 전에 누군가 학습 데이터를 건드리는 일입니다. 일부 샘플의 라벨을 바꾸거나, 숨은 트리거를 지닌 샘플을 섞어 넣거나, 핵심 샘플을 삭제해 모델이 잘못된 연관성을 배우게 만듭니다. 모델을 배포한 뒤 속이는 것과는 다릅니다. 손을 대는 시점이 학습 이전이고, 막는 방법도 완전히 다릅니다. 일반 사용자가 마주치는 잘못된 답변 대부분은 데이터 포이즈닝이 아니며, 모델의 실수를 모두 이 용어로 묶어서는 안 됩니다.
흔한 수법 세 가지, 망가뜨리는 방식이 각기 다릅니다
- 라벨 뒤집기. 일부 샘플의 라벨을 바꿉니다. 예를 들어 악성 트래픽을 정상으로 라벨링하면 모델은 위험을 안전으로 배우게 되고, 샘플 겉모습만 보는 검사로는 거의 알아차리지 못합니다.
- 백도어 심기. 샘플 묶음에 눈에 띄지 않는 트리거 표시를 더하고, 모두를 목표 클래스로 통일해 라벨링합니다. 모델은 트리거를 만날 때까지 정상적으로 동작하다가, 공격자가 의도한 대로 틀립니다. 가장 발견하기 어려운 형태입니다.
- 클린 라벨 포이즈닝. 샘플과 라벨이 모두 규정에 맞는 것처럼 보이지만, 내용이 정교하게 바뀌어 단순한 데이터 검사를 피해 모델의 판단 경계를 조용히 밀어냅니다. 세 가지 수법 모두 정상 데이터 속에 숨어서 작동합니다. 오염된 비율이 클 필요는 없으며, 샘플이 정확한 위치에 놓였는지가 중요합니다.
프롬프트 인젝션, 데이터 오염과는 다릅니다
| 현상 | 손대는 시점 | 핵심 차이 |
|---|---|---|
| 데이터 포이즈닝 | 학습 이전 | 모델이 배우는 데이터를 바꾸므로 배우는 내용 자체가 바뀝니다 |
| 프롬프트 인젝션 | 사용 중 | 모델에 건네는 텍스트만 바꾸며, 모델 자체는 바뀌지 않습니다 |
| 데이터 오염 | 대부분 의도하지 않음 | 학습 데이터에 오류나 중복이 섞이지만, 누군가 고의로 해를 끼친 것은 아닙니다 |
이 셋을 구분해야 대처 방향이 틀어지지 않습니다. 프롬프트 인젝션은 입력 필터링과 권한 조이기로, 데이터 오염은 정제와 중복 제거로, 데이터 포이즈닝은 데이터 출처 자체로 돌아가야만 다룰 수 있습니다.
모델을 만들거나 데이터를 관리하는 사람에게는 네 가지 실천이 도움이 됩니다. 데이터 출처를 기록하는 것, 누가 제공했고 어떤 배치이며 무엇을 바꿨는지 추적 가능하게 하는 것입니다. 샘플 검사는 전체 정확도만 보지 않고 트리거 조건에서의 동작도 보는 것입니다. 의심스러운 카테고리 전용으로 깨끗한 검증 세트를 따로 두는 것입니다. 어느 카테고리에서 오류가 집중되면, 매개변수를 조정하기 전에 먼저 해당 데이터 배치를 격리해 조사하는 것입니다. '모델이 오염됐다'는 말을 들으면 먼저 세 가지를 물어보세요. 증거가 학습 데이터 안에 있는가, 아니면 한 번의 대화 안에만 있는가? 특정 종류의 입력만 해당되는가, 아니면 전체가 나빠졌는가? 재현 가능한 트리거 조건이 있는가? 답할 수 없다면 일단 일반적인 고장이나 데이터 품질 문제로 다루고, 결론을 서두르지 마세요.
