인컨텍스트 학습은 대규모 모델이 파라미터를 업데이트하지 않고 프롬프트에 제시된 몇 개의 예시만으로 새로운 작업을 그 자리에서 수행하는 능력이다. 모델이 다시 학습되는 것도 아니고 예시를 영구히 기억하는 것도 아니다. 예시를 현재 대화의 임시 참고 자료로 삼아 작업의 형식과 문체, 판단 기준을 추론한 뒤 새로운 입력에 적용한다. 예시가 분명하면 결과가 정확해지기 쉽고, 예시가 모호하면 결과도 모호해진다.
구체적인 예시로 살펴보기
사용자 메시지를 문의, 불만, 칭찬 세 가지로 나누고 싶다고 하자. 모델을 다시 학습할 필요는 없다. 프롬프트에 종류별로 라벨이 붙은 메시지를 한두 개씩 제시하고 라벨이 없는 새 메시지를 추가하면 된다. 모델은 예시의 분류 방식을 따라 새 메시지에 라벨을 붙인다. 예시나 분류 기준을 바꾸면 같은 모델도 전혀 다른 결과를 낼 수 있는데, 이는 고정된 규칙을 실행하는 것이 아니라 예시를 따르고 있음을 보여준다.
미세 조정 및 RAG와의 차이
미세 조정은 데이터를 이용해 모델 파라미터를 실제로 업데이트한다. 변경 사항은 유지되며 장기적이고 안정적인 작업에 적합하지만 데이터와 연산 자원, 시간이 필요하다. RAG는 먼저 외부 자료에서 관련 내용을 검색한 뒤 그 검색 결과를 바탕으로 모델이 답변하므로 답의 근거는 주로 검색된 자료에 있다. 인컨텍스트 학습은 파라미터를 바꾸지도 않고 외부 자료를 검색하지도 않으며 근거는 프롬프트 안의 예시뿐이다. 가장 가볍고 빠르지만 프롬프트의 표현에 가장 쉽게 영향을 받는다.
흔한 세 가지 오해
- 예시를 제시하는 것은 학습이 아니다. 예시는 현재 대화에서만 작용하고 대화를 바꾸면 효력을 잃으며, 모델이 데이터를 장기적으로 기억하지는 않는다.
- 예시가 많을수록 좋은 것은 아니다. 개수와 순서, 표현 방식이 모두 결과에 영향을 미친다. 서로 모순되는 예시, 마지막에 배치된 예시, 모호하게 표현된 예시는 모델을 잘못된 방향으로 이끌 수 있다.
- 컨텍스트가 길수록 기억이 확실해지는 것은 아니다. 프롬프트 내용이 많아질수록 핵심 정보는 희석되기 쉽고 모델은 뒤쪽 내용에 더 주목할 수 있다. 중요한 예시와 요구 사항은 양을 쌓기보다 간결하고 눈에 띄게 제시해야 한다.
잘 맞는 경우와 기대해서는 안 되는 경우
형식이 고정되고 기준을 예시로 분명히 설명할 수 있는 작업은 인컨텍스트 학습에 잘 맞는다. 분류, 다시 쓰기, 고정 템플릿을 이용한 정보 추출이 그 예이다. 정확한 전문 지식이 필요하거나 선호도를 장기적으로 기억해야 하거나 예시만으로는 기준을 설명할 수 없는 작업은 몇 개의 예시에 기대서는 안 된다. 그럴 때는 미세 조정이나 외부 자료 검색, 규칙의 명문화가 더 적합하다. 판단 기준은 단순하다. 예시를 몇 개만 바꿨는데 결과가 크게 달라진다면 아직 예시에서 의미를 추측하는 단계이므로 더 확실한 근거가 필요하다.
