모델 붕괴는 모델이 자신이 생성한 데이터로 반복 학습할 때 출력 분포가 세대마다 좁아져, 현실 세계의 드물지만 중요한 부분이 사라지는 현상입니다. 흔한 표현은 증폭되고, 드문 표현부터 사라지며, 오류가 정답처럼 고정됩니다.
꼬리는 어떻게 사라지는가
실제 데이터는 가운데에 몰리고 소수가 가장자리, 즉 분포의 꼬리에 흩어져 있습니다. 생성 모델은 원래 확률이 높은 내용을 선호해 꼬리 샘플이 선택될 기회가 적습니다. 그 출력으로 다음 세대를 학습시키면 꼬리는 더 얇아집니다. Shumailov 등의 연구진은 2024년 Nature 논문에서 이 과정을 실험으로 보여주며, 생성 데이터의 재귀적 학습이 분포 꼬리를 단계적으로 사라지게 한다고 지적했습니다.
데이터 오염, 과적합과는 다르다
오염은 외부의 더러운 데이터가 섞이는 문제입니다. 붕괴의 출발점은 모델 자신의 출력이 되돌아오는 것으로, 겉보기엔 깨끗해도 다양성이 깎입니다. 과적합은 특정 학습 데이터를 너무 외우는 것이지만, 붕괴는 분포 전체의 모양을 바꿔 새로운 문제에서도 답이 빈약해집니다.
현실적인 것은 만성 버전
합성 데이터만으로 다음 세대를 만드는 경우는 진지한 팀에서 드뭅니다. 현실적인 위험은 비율 변화입니다. AI가 생성한 글과 이미지가 웹에 늘면서 수집 코퍼스에 합성 내용이 조용히 섞이고, 출처 표시도 실제 데이터 배합 관리도 없으면 모델은 모르는 사이에 좁아집니다.
흔한 오해
생성 데이터 품질이 높으면 붕괴하지 않는 것은 아닙니다. 샘플링이 고확률 영역에 치우치면 꼬리는 사라집니다. 초기 증상은 횡설수설이 아니라 오히려 더 안정적이고 매끄럽지만 단조로워지는 것입니다. 대책은 실제 데이터를 충분히 남기고, 합성 데이터에 표시와 비율 관리를 하며, 롱테일을 의도적으로 평가하는 것입니다.
