퓨샷 러닝
퓨샷 러닝의 원리를 풀어봅니다: 재학습 없이 프롬프트 속 몇 개의 정답 예시만 보고 거대 언어 모델이 유추하는 이유, 이런 능력이 어디서 오는지, 언제 잘 통하고 언제 직접 규칙을 쓰는 게 나은지 정리합니다.
퓨샷 러닝의 원리를 풀어봅니다: 재학습 없이 프롬프트 속 몇 개의 정답 예시만 보고 거대 언어 모델이 유추하는 이유, 이런 능력이 어디서 오는지, 언제 잘 통하고 언제 직접 규칙을 쓰는 게 나은지 정리합니다.
인컨텍스트 학습은 대규모 모델이 파라미터를 업데이트하지 않고 프롬프트에 제시된 몇 개의 예시만으로 새로운 작업을 그 자리에서 수행하는 능력이다. 모델이 다시 학습되는 것도 아니고 예시를 영구히 기억하는 것도 아니다. 예시를 현재 대화의 임시 참고 자료로 삼아 작업의 형...
자기 주의는 모델이 문장을 처리할 때 먼저 각 단어가 문장 안의 어떤 단어에 얼마나 주목해야 하는지를 판단한 뒤 그 정보를 융합하는 방식이다. 고정된 순서대로 단어를 하나씩 읽는 것이 아니라 모든 단어가 서로 점수를 매긴다. 관련성이 강할수록 가중치가 커지고, 결국 각...
임베딩 벡터는 텍스트나 이미지, 음성을 일련의 숫자로 바꿔 기계가 서로 얼마나 비슷한지 계산할 수 있게 한 것입니다. 검색 엔진과 추천 시스템, 챗봇 지식 베이스는 키워드를 글자 그대로 맞추는 방식이 아니라 대부분 이 방식으로 정보를 찾습니다. 벡터는 어떻게 만들어질까...
프롬프트는 길다고 좋은 것이 아닙니다. 과제의 목표, 핵심 배경, 양보할 수 없는 요구를 적고 나면 그 위에 쌓는 내용은 한계 효용이 금세 0이 되고, 오히려 결과를 해칩니다. 요구끼리 충돌하면 모델은 손쉬운 쪽을 실행하고, 중점이 묻히면 주종을 놓치며, 예시와 과제가...
소수 샷 학습은 대형 모델에 예시 몇 개만 보여주면 그 형식과 기준에 맞춰 새 작업을 수행하게 하는 활용법이다. 모델을 다시 훈련할 필요가 없으며, 질문할 때 입력과 원하는 출력 쌍을 두세 개 먼저 제시하면 모델이 그 안에서 규칙을 파악해 새 내용에도 같은 방식을 적용...
사전 학습은 대형 언어 모델 훈련의 첫 단계입니다. 모델이 대화와 코딩을 배우기 전에, 방대한 텍스트를 놓고 하는 일은 하나, 다음 단어를 반복해서 맞히는 것입니다. 이 단계에서는 예의도, 지시를 따르는 법도 가르치지 않습니다. 언어의 통계적 패턴, 사실 사이의 연결,...
치명적 망각은 신경망이 여러 과제를 차례로 배울 때, 뒤의 과제를 익히는 대신 앞서 배운 것을 넓은 범위에서 잊어버리는 현상입니다. 완성된 모델에 새 분야 데이터로 추가 미세조정을 하면 새 과제 점수는 오르는데, 잘하던 질의응답이나 분류, 특정 언어 실력이 눈에 띄게 ...
과적합이란 모델이 훈련 데이터를 너무 잘 외워서 데이터 속 잡음과 우연한 세부 사항까지 함께 기억해 버리는 현상입니다. 연습 문제에서는 점수가 높지만, 본 적 없는 새 데이터에서는 실력이 눈에 띄게 떨어집니다. 모델을 평가할 때는 훈련한 문제에서의 성적이 아니라, 새로...