模型崩塌指的是模型在反复用自己生成的数据训练下一代时，输出分布一轮比一轮窄，最后丢掉真实世界里那些少见但重要的部分。它不是模型突然变笨，而是一种慢慢收窄的过程：常见的说法被反复放大，罕见的说法先消失，错误则被当成标准答案固定下来。
尾巴是怎么丢掉的
真实数据里，大多数样本挤在中间，少数样本散在边缘，也就是分布的尾部。生成模型采样时本来就更爱挑高概率的内容，尾部样本被选中的机会更低。把生成结果再拿去训练，下一代看到的尾部就更薄；几轮下来，边缘案例、少数口音、冷门写法会先不见，模型给出的答案越来越像复述平均值。Shumailov 等研究者在 2024 年发表于 Nature 的论文里用实验展示了这一过程，并指出递归训练生成数据会让分布尾部逐步消失。
它和数据污染、过拟合不是一回事
数据污染说的是外部脏数据混进来，比如测试题提前泄漏进训练集；模型崩塌的源头是模型自己的产出回流，数据看起来干净、格式也对，问题出在多样性被一轮轮削薄。过拟合则是模型把某一组训练样本记太死，换个问法就露馅；崩塌影响的是整个分布形状，哪怕测试题全是新题，答案的丰富程度也已经下降了。把三者分开，才不会把解法开错。
现实里更常见的其实是慢性版本
完全只用合成数据从零训练下一代，在正规团队里并不多见。更现实的风险是比例失衡：网络上 AI 生成的文本、图片越来越多，抓取语料时合成内容占比悄悄升高，又没有做来源标记和真实数据配比，模型就会在不知不觉中越学越窄。写作同质化、图片风格趋同，往往就是这种慢性收窄的早期信号。
几个流传很广的误解
有人以为只要生成数据质量高就不会崩塌，其实哪怕单条质量不错，只要采样偏向高概率区域，尾部照样流失，问题在分布不在单条对错。也有人把崩塌理解成模型会突然失忆或胡言乱语，实际上早期症状恰恰相反：输出更稳定、更顺滑，只是越来越单调。真正有效的防线是保留足量真实数据、给合成数据做标记和配比控制、在评估时专门盯住长尾样本，而不是等答案明显变差才处理。
