창발 능력이란 작은 모델은 거의 해내지 못하다가 규모가 어떤 임계점을 넘는 순간 갑자기 수행할 수 있게 되는 과제 능력을 말합니다. 이는 평범한 점진적 향상이 아니라, 없는 것에서 있는 것으로 도약하는 것처럼 보이는 변화입니다. 모델이 작을 때는 여러 단계의 산술 문제를 거의 다 틀리고, 예시를 몇 개 줘도 새로운 형식을 배우지 못합니다. 그러나 규모가 일정 수준에 이르면 같은 문제를 갑자기 맞히고, 복잡한 추론을 한 단계씩 이어 가며, 예시를 보고 새로운 과제를 즉석에서 익힐 수 있게 됩니다. 예시로 배우는 이 능력을 인컨텍스트 학습이라고 하며, 창발의 가장 대표적인 예로 꼽힙니다.
전체 진전은 매끄러운데 개별 능력은 왜 도약할까
창발을 이야기하려면 스케일링 법칙을 빼놓을 수 없습니다. 스케일링 법칙은 매개변수 수, 데이터 양, 연산량이 늘어날수록 대량의 텍스트에 대한 모델의 전체 예측 손실이 매끄럽고 예측 가능하게 감소한다는 법칙입니다. 문제는 전체 손실이 매끄럽다고 해서 각 과제의 성적이 모두 매끄럽게 오르는 것은 아니라는 점입니다. 객관식 문제나 여러 단계의 응용 문제 같은 과제는 일련의 단계가 모두 맞아야 하며, 한 단계만 틀려도 최종 답은 틀립니다. 작은 모델도 사실은 조금씩 가까워지고 있지만, 완전히 맞히기까지 몇 단계가 부족한 동안 성적표에는 0점만 찍힙니다. 각 단계의 정확도가 임계점을 넘는 순간 문제 전체가 갑자기 풀리면서 곡선에서는 도약으로 나타납니다.
논쟁: 창발의 일부는 평가 방식이 만든 착각일 수 있다
창발이 모델 내부에서 정말 질적인 변화가 일어났다는 뜻인지는 아직 논쟁 중입니다. 일부 연구는 보고된 도약의 상당수가 평가 지표의 선택과 관련이 있다고 지적합니다. 최종 답이 맞았는지만 보는 전부 아니면 전무 식의 지표만 보면 진전은 계단처럼 압축됩니다. 각 토큰의 예측이 얼마나 가까웠는지를 보거나, 올바른 단계에 부분 점수를 주는 식의 더 연속적인 지표로 바꾸면 같은 모델의 곡선도 훨씬 매끄러워지고 도약감은 크게 약해집니다. 이는 능력이 갑자기 나타난 것처럼 보인다고 해서 모델 내부에서 질적 변화가 일어났다고 곧바로 결론 내릴 수 없으며, 측정 방법이 효과를 부풀렸을 수 있다는 점을 일깨워 줍니다. 그렇다고 창발을 부정하는 것도 아닙니다. 모델의 변화와 지표의 변화를 구분해야 한다는 뜻일 뿐입니다.
경계: 정확히 예측할 수 없고, 매개변수만 변수는 아니다
창발의 가장 실용적인 경계는 정확히 예측할 수 없다는 점입니다. 어떤 능력이 어느 규모에서 나타날지를 미리 계산할 수 있는 사람은 없습니다. 모델을 훈련하고 측정해 본 뒤에야 뒤늦게 확인할 수 있을 뿐입니다. 모든 능력이 창발하는 것도 아닙니다. 규모가 커져도 천천히만 개선되는 과제가 있고, 끝내 잘하지 못하는 과제도 있습니다. 매개변수 수가 유일한 변수도 아닙니다. 데이터의 질, 데이터의 구성, 훈련 방법 역시 능력이 나타나는 시점을 바꾸며, 매개변수 수가 비슷한 모델끼리도 성능이 크게 다를 수 있습니다. 따라서 규모가 창발의 문턱이라고 말할 수는 있어도, 매개변수를 쌓으면 특정 능력이 반드시 따라온다고 말할 수는 없습니다.
흔한 오해 두 가지도 짚어야 합니다. 창발은 의식의 각성이 아닙니다. 창발이 말하는 것은 과제 성적의 변화, 즉 측정하고 재현할 수 있는 현상이며, 모델에게 주관적 체험이 있는지는 전혀 다른 문제입니다. 창발은 크면 클수록 만능이라는 뜻도 아닙니다. 도약은 일부 과제에서만 일어나고, 같은 모델이 다른 과제에서는 여전히 자주 틀릴 수 있습니다. 창발을 규모가 가져오는 제한적이고 완전히 통제할 수 없는 능력의 변화로 이해하는 편이, 신비로운 각성으로 상상하는 것보다 연구에서 실제로 쓰이는 의미에 훨씬 가깝습니다.
