缩放定律描述的是模型规模扩大时,性能随参数、数据和算力变化的一组经验规律,而不是一条保证效果的公式。它来自大量训练实验的拟合,投入越多损失下降越明显,但边际收益会越来越小。
先看它到底在说什么
缩放定律常用幂律关系表达:参数量、数据量或计算量增加,模型损失会按可预测的趋势下降。它回答的是投入与效果的平均趋势,不是某个任务一定变好的承诺;任务和数据不同,收益也会不同。研究者通过在不同规模下训练模型并记录损失,再拟合曲线发现这种关系,结论依赖实验设定,不能脱离条件照搬。
参数、数据、算力互相牵制
参数决定容量,数据决定可学的信息,算力决定在有限时间内能把模型训练到什么程度。Chinchilla 研究的提醒是:在固定算力下,参数很大、数据不足的模型,未必优于参数适中但训练更充分的模型,配比失衡会浪费算力。只加参数不加数据,或只加数据不留算力,都可能让投入打折。
边界藏在三个地方
一是数据质量,重复或低质数据加量也难带来同等收益,清洗去重常比加量更重要。二是推理成本,模型越大每次回答越贵,训练划算未必线上划算,延迟和部署压力也要计入。三是任务天花板,评测接近饱和或瓶颈不在语言建模时,扩大规模的收益也会变弱,瓶颈可能在知识、工具使用或评测本身。
别把它和测试时缩放混为一谈
训练缩放讲训练投入,测试时缩放讲推理时多花算力,如更长推理、多次采样再挑选、调用工具验证。它能在不重训的情况下改善部分任务,但受成本、延迟和错误累积限制,也补不上训练数据里没有的知识。两者可以配合,却不能互相替代。
三个常见误解
越大越好是误解,数据、配比和评测都会改变结论;损失下降等于能力跃升也是误解,个别推理与事实性能力未必同步提升;规律放之四海同样是误解,换了架构或数据类型,旧配比未必成立。看到规模数字,先问数据、算力和评测条件,再判断结论是否可信。