위치 인코딩
위치 인코딩은 Transformer가 단어 순서를 구분하게 해 주는 장치입니다. 사인파 방식, 학습 방식, RoPE의 차이와 긴 문맥 처리 능력에 미치는 영향을 정리합니다.
자기 주의만으로는 순서를 알 수 없어서, 위치 인코딩이 각 토큰에 순서 정보를 더합니다. 초기 사인파 방식부터 현재 대형 모델의 주류인 RoPE까지, 방식의 차이는 읽을 수 있는 길이와 먼 문장의 선명도를 좌우합니다. 이 주제를 따라가면 긴 문맥 수치 뒤에 숨은 선택이 보이기 시작합니다.
