スケーリング則とは、モデルを大きくしたときに、性能がパラメータ数、学習データ量、計算量とともにどう変化するかを示す経験則のまとまりであり、効果を保証する公式ではない。多くの学習実験の結果を当てはめて得られたもので、投入を増やすほど損失は下がりやすくなるが、限界的な効果は次第に小さくなる。
まず、何を言っているのかを見る
スケーリング則はしばしばベキ則の関係で表される。パラメータ数、データ量、計算量を増やすと、言語モデルの損失は予測できる傾向に沿って下がる。それは投入と成果の平均的な関係を示すもので、特定のタスクが必ず良くなるという約束ではない。タスクやデータが違えば得られる効果も違う。研究者は複数の規模でモデルを学習し、損失を記録して曲線を当てはめることでこの関係を見つけており、結論は実験条件に依存するため、条件を外してそのまま使うことはできない。
パラメータ、データ、計算量は互いに制約し合う
パラメータは容量を決め、データは学べる情報の量を決め、計算量は限られた時間の中でモデルをどこまで学習できるかを決める。Chinchilla の研究が示した教訓は、計算量の予算が固定されている場合、パラメータが非常に大きくデータが不足したモデルが、適度な大きさで十分に学習したモデルより優れるとは限らず、バランスの崩れは計算量の無駄になるということだ。データなしにパラメータだけを増やしても、計算量なしにデータだけを増やしても、投入の効果は薄れる。
境界は三つの場所に現れる
第一にデータの質である。重複したデータや質の低いデータを増やしても、それに見合う効果は得にくく、クリーニングと重複除去は量を増やすことより重要な場合が多い。第二に推論コストである。モデルが大きいほど一回の回答にかかるコストは高くなり、学習では効率的に見える規模が、遅延や運用の負担を考えると実運用では効率的でない場合がある。第三にタスク自体の上限である。評価指標がほぼ飽和していたり、ボトルネックが言語モデリングではなく知識やツール利用、評価そのものにあったりすると、規模を拡大する効果は弱まる。
テスト時スケーリングと混同しないこと
学習時のスケーリングは学習段階の投入を指し、テスト時スケーリングは推論時に計算量を多く使うことを指す。たとえば推論を長くする、複数の回答を生成して選ぶ、ツールで検証するといった方法である。テスト時スケーリングは再学習なしに一部のタスクを改善できるが、コスト、遅延、誤差の蓄積に制約され、学習データになかった知識を補うことはできない。両者は組み合わせることはできるが、互いに置き換えることはできない。
よくある三つの誤解
大きいほど良いというのは誤解であり、データ、バランス、評価方法が結論を変える。損失の低下が能力の飛躍と等しいというのも誤解であり、個別の推論能力や事実に関する能力が同じ速さで伸びるとは限らない。法則がどこにでも当てはまるというのも誤解であり、アーキテクチャやデータの種類が変われば、古いバランスは成り立たなくなる。規模の数字を見たら、まずデータ、計算量、評価条件を問い、それから結論が信頼できるかを判断すべきだ。
