위치 인코딩은 문장의 각 단어에 추가로 붙는 순서 신호로, 모델이 어떤 토큰이 먼저이고 어떤 토큰이 뒤인지 알게 해 주는 장치입니다. 자기 주의는 단어들을 서로 비교하지만 순서 자체는 타고나지 못합니다. 위치 정보가 없으면 '개가 사람을 문다'와 '사람이 개를 문다'가 같은 단어 묶음으로 보이게 됩니다. 위치 인코딩이 바로 이 빈틈을 메웁니다.
자기 주의가 순서를 못 보는 이유
주의는 단어의 위치와 무관하게 쌍마다 유사도를 계산합니다. 입력 순서를 뒤섞어도 계산은 거의 눈치채지 못합니다. 그러나 언어는 순서로 의미가 갈리므로, 위치는 모델이 추론을 시작하기 전에 토큰 벡터 안으로 독립된 신호로 들어가야 합니다.
대표적인 세 가지 방식
첫째는 원조 Transformer의 사인파 방식입니다. 주파수가 다른 고정 파형 패턴을 토큰 벡터에 더합니다. 학습이 필요 없고 긴 글에도 늘릴 수 있지만 융통성은 없습니다. 둘째는 학습 방식으로, 각 자리에 학습 가능한 벡터를 둡니다. 유연하지만 훈련 때 본 최대 길이를 넘지 못합니다. 셋째는 RoPE, 즉 회전 방식으로 지금 많은 모델이 씁니다. 위치에 따라 벡터의 일부를 회전시켜 주의가 상대적 거리를 자연스럽게 포착하게 합니다. 긴 문맥에 강해 사실상의 표준이 됐습니다.
절대 위치와 상대 위치는 다르다
절대 방식은 '너는 7번째 단어'라고 말하고, 상대 방식은 '기준 단어에서 세 칸 뒤'라고 말합니다. 언어에서는 번지보다 거리가 중요한 경우가 많아 현대 방식은 상대 정보를 선호합니다. 훈련 때보다 훨씬 긴 글에서 모델이 흐릿해지는 것도 기억이 떨어져서가 아니라 익숙한 거리 패턴을 다 써 버렸기 때문으로 설명할 수 있습니다.
흔한 오해 세 가지
위치 인코딩은 이해 그 자체가 아닙니다. 순서를 줄 뿐 의미를 주지 않습니다. 기억 장치도 아닙니다. 앞부분의 세부 내용이 빠지는 것은 위치 방식보다 주의 배분과 문맥 예산 탓인 경우가 많습니다. 그리고 문맥 창이 길다고 먼 곳까지 정확히 읽는다는 보장은 없습니다. RoPE 기반을 늘리는 기법은 범위를 넓히지만 가까운 위치의 해상도는 희석됩니다.
긴 문서를 정말 잘 읽는 모델인지 가리려면 창의 크기만이 아니라 위치를 어떻게 부호화하고 거리를 어떻게 분해하는지까지 살펴야 합니다. 위치 인코딩은 그 능력의 조용한 토대입니다.
