머신 언러닝(Machine Unlearning)이 해결하려는 문제는 매우 구체적입니다. 모델은 이미 특정 데이터로 학습을 마쳤는데, 이제 그 데이터를 본 적이 없는 것처럼 동작해야 합니다. 원본 데이터 파일을 지우는 것만으로는 부족합니다. 데이터의 영향이 이미 모델의 파라미터 안에 남아 있어, 모델이 그것을 되풀이하거나 활용할 수 있기 때문입니다.
현재 방법은 두 갈래입니다. 정확한 언러닝은 잊어야 할 데이터를 학습 데이터에서 제거하고 처음부터 다시 학습합니다. 정의상 가장 깔끔한 결과이지만, 계산 비용이 감당하기 어려운 경우가 많습니다. 근사 언러닝은 기존 모델의 파라미터를 직접 조정해 다시 학습한 모델의 동작에 최대한 가깝게 만듭니다. 계산을 아낄 수 있지만, '가깝다'가 어느 정도인지는 다시 학습한 참조 모델과 비교해 검증해야 합니다.
파국적 망각과는 다릅니다
파국적 망각은 모델이 새로운 과제를 배우면서 예전 능력을 잃어버리는 현상입니다. 학습 과정의 부작용이며, 어떤 데이터를 잊어야 하는지 아무도 지정하지 않습니다. 반면 머신 언러닝은 명확한 삭제 요청을 따릅니다. 특정 데이터 집합의 영향을 제거하는 것이 목표이며, 목표와 검증 기준이 요청 안에 적혀 있습니다. 둘 다 '잊음'과 관련되지만, 방향은 완전히 다릅니다.
'잊었다'를 검증하기 어려운 이유
모델이 더 이상 아무것도 출력하지 않는 것만으로는 충분하지 않습니다. 출력이 억제된 것뿐이어서, 다르게 물으면 다시 답할 수 있기 때문입니다. 그래서 연구에서는 언러닝된 모델을 다시 학습한 참조 모델과 비교해, 잊을 데이터와 남길 데이터에 대한 동작이 충분히 가까운지를 확인하는 경우가 많습니다. 계산을 아끼는 방법 중 하나는 데이터를 조각으로 나눠 학습하고(SISA) 영향을 받은 조각만 다시 학습하는 것입니다. 감사에서 실제로 확인할 수 있는 것은 대개 어떤 알고리즘이 실행됐는지, 절차를 다시 검토할 수 있는지이지, '이미 잊었다'는 보장이 사실인지가 아닙니다.
그러니 '모델이 어떤 데이터를 잊었다'는 말을 들으면 먼저 세 가지를 물어보세요. 잊는 대상은 구체적으로 어떤 데이터 집합인가요? 처음부터 다시 학습한 것인가요, 근사 방법인가요? 무엇을 기준으로 검증했나요? 답하지 못한다면 그것은 고작 '적극적으로 출력하지 않게 됐다'는 정도일 뿐, 모델 내부에서 제거된 것이 아닙니다. 일반 사용자에게도 이는 다음을 의미합니다. 대화 기록에서 한 문장을 지우거나 대화를 비우는 것과, 모델이 학습 데이터를 잊게 만드는 것은 다른 일입니다. 전자는 눈앞의 기록 문제이고, 후자는 모델 내부의 영향 문제입니다.
