스케일링 법칙은 모델 규모가 커질 때 성능이 매개변수 수, 학습 데이터 양, 연산량에 따라 어떻게 변하는지를 보여주는 경험적 규칙들의 집합이며, 효과를 보장하는 공식이 아니다. 수많은 학습 실험 결과를 맞추어 도출한 것으로, 투입이 늘어날수록 손실은 더 뚜렷하게 줄지만 한계 수익은 점점 작아진다.
먼저 무엇을 말하는지 살펴보기
스케일링 법칙은 흔히 거듭제곱 법칙 관계로 표현된다. 매개변수 수, 데이터 양, 연산량이 늘어나면 언어 모델의 손실은 예측 가능한 추세를 따라 감소한다. 이는 투입과 성과 사이의 평균적인 관계를 보여줄 뿐, 특정 과제가 반드시 좋아진다는 약속이 아니다. 과제와 데이터가 다르면 얻는 효과도 달라진다. 연구자는 여러 규모에서 모델을 학습하고 손실을 기록한 뒤 곡선을 맞춰 이런 관계를 발견하므로, 결론은 실험 조건에 의존하고 조건을 떼어 그대로 옮길 수 없다.
매개변수, 데이터, 연산량은 서로를 제약한다
매개변수는 용량을 결정하고, 데이터는 배울 수 있는 정보의 양을 결정하며, 연산량은 제한된 시간 안에 모델을 어느 정도까지 학습할 수 있는지를 결정한다. Chinchilla 연구가 준 교훈은 연산 예산이 고정된 경우 매개변수가 매우 크고 데이터가 부족한 모델이 적당한 크기로 충분히 학습한 모델보다 반드시 낫다고 할 수 없으며, 배합이 어긋나면 연산이 낭비된다는 점이다. 데이터 없이 매개변수만 늘리거나, 연산 없이 데이터만 늘리면 투입 효과가 떨어질 수 있다.
한계는 세 곳에서 드러난다
첫째는 데이터 품질이다. 중복되거나 품질이 낮은 데이터를 늘려도 그에 상응하는 효과를 얻기 어렵고, 정제와 중복 제거가 양을 늘리는 것보다 중요한 경우가 많다. 둘째는 추론 비용이다. 모델이 클수록 한 번의 답변에 드는 비용이 커지므로, 학습에서는 효율적으로 보이는 규모가 지연과 운영 부담을 고려하면 실제 서비스에서는 효율적이지 않을 수 있다. 셋째는 과제 자체의 상한이다. 평가 지표가 거의 포화 상태이거나 병목이 언어 모델링이 아니라 지식, 도구 활용, 평가 자체에 있을 때 규모를 키우는 효과는 약해진다.
테스트 시점 스케일링과 혼동하지 않기
학습 시점 스케일링은 학습 단계의 투입을 말하고, 테스트 시점 스케일링은 추론 시점에 연산을 더 쓰는 것을 말한다. 예를 들어 추론 과정을 길게 하거나, 여러 답변을 생성해 고르거나, 도구로 검증하는 방식이다. 테스트 시점 스케일링은 재학습 없이 일부 과제를 개선할 수 있지만 비용, 지연, 오차 누적의 제약을 받고 학습 데이터에 없던 지식을 보충할 수는 없다. 두 접근법은 함께 쓸 수 있지만 서로를 대체할 수는 없다.
흔한 세 가지 오해
크면 클수록 좋다는 것은 오해이며, 데이터와 배합, 평가 방식이 결론을 바꾼다. 손실 감소가 곧 능력의 도약이라는 것도 오해이며, 개별 추론 능력과 사실 관련 능력이 같은 속도로 향상된다고 볼 수 없다. 법칙이 어디에나 적용된다는 것도 오해이며, 아키텍처나 데이터 종류가 바뀌면 기존 배합이 성립하지 않을 수 있다. 규모 수치를 볼 때는 먼저 데이터와 연산량, 평가 조건을 묻고 나서 결론이 믿을 만한지 판단해야 한다.
