사전 학습이란? 모델이 대화를 배우기 전에 인터넷 대부분을 먼저 읽는 단계
사전 학습은 대형 언어 모델 훈련의 첫 단계입니다. 모델이 대화와 코딩을 배우기 전에, 방대한 텍스트를 놓고 하는 일은 하나, 다음 단어를 반복해서 맞히는 것입니다. 이 단계에서는 예의도, 지시를 따르는 법도 가르치지 않습니다. 언어의 통계적 패턴, 사실 사이의 연결,...
Admin •
171
자기회귀란? 대형 모델이 한 단어씩 내뱉는 이유
자기회귀는 대형 모델이 글을 생성할 때 쓰는 기본 방식입니다. 이미 나타난 토큰을 바탕으로 다음에 올 가능성이 가장 높은 토큰을 예측하고, 새로 생성한 토큰을 입력 끝에 이어 붙인 뒤 다시 다음을 예측하는 순환을, 종료 표시가 나오거나 길이 상한에 닿을 때까지 반복합니...
Admin •
117
치명적 망각이란? 새 능력을 배운 모델이 옛 능력을 잃는 이유
치명적 망각은 신경망이 여러 과제를 차례로 배울 때, 뒤의 과제를 익히는 대신 앞서 배운 것을 넓은 범위에서 잊어버리는 현상입니다. 완성된 모델에 새 분야 데이터로 추가 미세조정을 하면 새 과제 점수는 오르는데, 잘하던 질의응답이나 분류, 특정 언어 실력이 눈에 띄게 ...
Admin •
137
퍼플렉시티란? 숫자가 낮을수록 모델이 정말 더 잘 답할까
퍼플렉시티, 즉 혼란도는 언어 모델이 다음 단어를 얼마나 확신하지 못하는지를 나타내는 숫자입니다. 문장을 이어 쓸 때 실제로 등장한 단어에 모델이 놀랄수록 수치는 높아지고, 당연하게 느낄수록 낮아집니다. 제조사들은 새 모델의 사양표에 이 숫자를 즐겨 넣지만, 이것은 모...
Admin •
100
과적합이란? 연습 문제는 외웠는데 새 문제만 나오면 틀리는 이유
과적합이란 모델이 훈련 데이터를 너무 잘 외워서 데이터 속 잡음과 우연한 세부 사항까지 함께 기억해 버리는 현상입니다. 연습 문제에서는 점수가 높지만, 본 적 없는 새 데이터에서는 실력이 눈에 띄게 떨어집니다. 모델을 평가할 때는 훈련한 문제에서의 성적이 아니라, 새로...
Admin •
97
확산 모델이란? 이미지 생성이 먼저 화면을 흐트러뜨린 뒤 천천히 복원하는 이유
확산 모델은 먼저 데이터에 단계적으로 노이즈를 더한 뒤, 그 노이즈를 단계적으로 제거하는 법을 학습해 새로운 콘텐츠를 생성하는 생성 모델로, 현재 이미지 생성의 주류 방법 중 하나입니다. 이미지를 직접 그리는 것이 아니라 순수한 노이즈에서 출발해 노이즈를 한 단계씩 걷...
Admin •
100
창발 능력이란 무엇인가? 모델이 커지면 왜 어떤 능력은 갑자기 나타날까
창발 능력이란 작은 모델은 거의 해내지 못하다가 규모가 어떤 임계점을 넘는 순간 갑자기 수행할 수 있게 되는 과제 능력을 말합니다. 이는 평범한 점진적 향상이 아니라, 없는 것에서 있는 것으로 도약하는 것처럼 보이는 변화입니다. 모델이 작을 때는 여러 단계의 산술 문제...
Admin •
106
토크나이저란 무엇인가? 같은 문장인데 모델이 바뀌면 token 수가 달라지는 이유
토크나이저(Tokenizer)는 여러분이 모델에 보낸 문장이 가장 먼저 거치는 부품으로, 이해를 담당하지 않고 자르고 번호를 매기는 일만 합니다. 텍스트가 대규모 모델에 들어가기 전에 토크나이저는 먼저 그것을 token 단위로 자른 뒤 어휘표의 번호로 바꿉니다. 모델이...
Admin •
117