モデル崩壊とは、モデルが自分の生成したデータで繰り返し学習すると、出力の分布が世代ごとに狭くなり、現実世界の珍しいが重要な部分が消えていく現象です。よくある表現は増幅され、珍しい表現から先に消え、誤りが正解のように固定されます。
裾野はどう消えるのか
現実のデータは中央に集まり、少数が端、つまり分布の裾に散らばります。生成モデルはもともと確率の高い内容を選びがちで、裾のサンプルは選ばれにくくなります。その出力で次世代を学習させると裾はさらに薄くなります。Shumailov らの研究チームは2024年に Nature 誌でこの過程を実験で示し、生成データによる再帰的学習で分布の裾が段階的に消えると指摘しました。
データ汚染や過学習とは違う
汚染は外部の汚れたデータが混入する問題です。崩壊の出発点はモデル自身の出力の還流で、見た目はきれいでも多様性が削られます。過学習は特定の訓練データを覚えすぎることですが、崩壊は分布全体の形を変えるため、新しい問題でも答えが貧しくなります。
現実的なのは慢性版
合成データだけで次世代を作る例は真剣なチームではまれです。現実のリスクは比率の変化です。AI生成の文章や画像がウェブに増え、収集したコーパスに合成内容が静かに混ざり、出所表示も実データとの配分管理もないまま学習すると、モデルは知らないうちに狭くなります。
よくある誤解
生成データの質が高ければ崩壊しないわけではありません。サンプリングが高確率領域に偏れば裾は失われます。初期症状は支離滅裂になることではなく、むしろ安定して滑らかだが単調になることです。対策は実データを十分に残し、合成データに印を付け配分を管理し、ロングテールを意図的に評価することです。
