토큰은 대형 언어 모델이 텍스트를 읽고 쓰는 가장 작은 단위이자, API 종량제 과금의 단위이다. 모델은 한자나 단어를 직접 읽지 않고 숫자 ID의 나열만 인식한다. 입력된 텍스트는 먼저 토크나이저에 의해 토큰으로 잘린 뒤 ID로 변환되어 모델에 전달되고, 출력 시 ID가 다시 텍스트로 되돌아간다. OpenAI에 따르면 영어에서 1토큰은 약 4자, 대략 4분의 3단어에 해당하고, 100토큰은 약 75개의 영어 단어와 같다. 이 단위를 먼저 이해해야 컨텍스트 길이와 요금 이야기에 공통의 잣대가 생긴다.
토큰은 어떻게 잘리는가
토크나이저는 바이트 페어 인코딩 같은 통계적 방법을 쓴다. 흔한 단어는 하나의 토큰을 차지하고, 드문 단어나 긴 단어는 여러 개로 쪼개지며, 구두점과 공백, 숫자도 각각 토큰이 될 수 있다. OpenAI는 자사의 토크나이저인 tiktoken을 오픈소스로 공개했으므로 어떤 문장의 토큰 수도 직접 셀 수 있다. 주의할 점은 모델마다 토크나이저가 달라 같은 문장도 모델에 따라 토큰 수가 다르다는 것이다. 중국어에서는 흔한 한자 한 글자가 대략 1~2토큰을 차지하고, 코드나 URL, 연속된 숫자는 보통 더 잘게 쪼개지므로 길이가 같은 중국어와 영어 문장의 요금은 같지 않다.
토큰은 글자도 단어도 아니다
요금서에는 보통 세 가지가 나온다. 입력 토큰은 보내는 모든 것, 즉 질문과 붙여넣은 문서, 대화 기록, 시스템 지시이다. 출력 토큰은 모델이 써서 돌려주는 텍스트로, 보통 입력보다 단가가 높다. 추론 토큰은 추론 모델이 내부적으로 생각할 때 쓰는 것으로, 답변에는 나타나지 않지만 출력 단가로 과금된다. 가격은 일반적으로 백만 토큰당으로 표시되며 입력과 출력이 따로 매겨진다. 컨텍스트 윈도우도 토큰으로 잰다. 100만 토큰짜리 윈도우가 있다고 해서 100만 단어가 들어가는 것은 아니다. 대화 기록과 도구 반환 결과 등도 자리를 차지하므로 윈도우가 차면 잘라내거나 압축해야 한다.
흔한 오해 몇 가지
첫째, 글자 수가 적다고 저렴한 것은 아니다. 코드와 숫자는 토큰 밀도가 높아서 같은 길이의 산문보다 오류 로그의 토큰 수가 훨씬 많을 수 있다. 둘째, 단가가 싸다고 총액도 싼 것은 아니다. 추론 모델은 단가가 낮아도 답하기 전에 오래 생각하므로 추론 토큰이 쌓여 총액이 더 비싼 모델을 앞지를 수 있다. 셋째, 컨텍스트 윈도우를 창고처럼 여기고 무엇이든 쑤셔 넣는 사람이 있는데, 윈도우가 클수록 한 번의 요청이 안고 가는 입력 토큰이 많아지고 요금은 더 빨리 불어난다. 긴 대화를 정기적으로 정리하는 것이 제대로 된 절약법이다.
절약법은 사실 몇 가지뿐이다. 질문하기 전에 요구사항을 분명히 말해 모델이 긴 초안을 쓰고 다시 고치게 만들지 않는다. 긴 문서는 통째로 붙여넣지 말고 요약한 뒤 붙여넣는다. 반복되는 지시는 캐시한다. 간단한 작업에는 작은 모델을 쓴다. 월 구독형 채팅 제품은 토큰을 셀 필요가 없고 요금은 월 단위이다. 토큰이 곧 돈이 되는 것은 API로 종량 과금할 때뿐이다. 먼저 이해하고 그다음에 절약을 이야기해야 싼 단가에 속지 않는다.
