첫 토큰 지연은 전송을 누른 뒤 모델이 첫 번째 토큰을 내놓기까지의 대기 시간으로, 영어로는 TTFT(Time To First Token)라고 줄여 씁니다. AI 제품이 '빠르다'는 첫인상은 대개 여기서 결정됩니다. 어떤 제품은 3~4초 침묵하다가 글을 시작하고, 어떤 제품은 거의 즉시 출력하는데, 그 차이는 글을 쓰는 속도보다 이 첫 대기 시간에 있는 경우가 많습니다.
첫 글자가 나오기 전에 모델이 하는 일
모델이 처음부터 한 글자씩 계산하는 것은 아닙니다. 먼저 질문과 이전 대화, 첨부 자료를 한꺼번에 읽고 문맥 관계를 계산한 뒤 연산 자원 순서를 기다리는 집중 처리 단계가 있습니다. 이 단계가 끝나야 첫 글자가 나옵니다. 부담은 입력 길이에 비례합니다. 붙여 넣은 자료가 길고 대화 기록이 두꺼울수록, 마지막 질문이 짧아도 '문제를 읽는' 시간이 길어집니다.
첫 토큰 지연과 출력 속도는 별개의 문제
첫 토큰이 나온 뒤에는 하나씩 생성하는 단계로 넘어가며, 이때는 초당 생성량이 중요합니다. 그래서 시작은 빠른데 뒤로 갈수록 느려지는 모델도 있고, 몇 초 기다리게 한 뒤 한꺼번에 쏟아내며 전체로는 더 빨리 끝나는 모델도 있습니다. 출력이 시작되는 속도만으로 제품의 빠르기를 판단하면 자주 틀립니다. 짧은 질문에서는 첫 토큰 지연이 지배적이고, 긴 문서나 보고서에서는 전체 완료 시간이 더 중요합니다.
첫 토큰 지연이 눈에 띄게 길어지는 경우
첫째, 문맥이 너무 긴 경우입니다. 수십 페이지 문서나 코드 전체를 붙여 넣으면 읽는 데만 상당한 시간이 듭니다. 둘째, 추론 모델입니다. 말하기 전에 내부적으로 사고하므로 사고량이 많을수록 대기도 길어집니다. 셋째, 피크 시간대 대기와 콜드 스타트입니다. 저녁에는 둔하고 새벽에는 가볍다면 모델이 바뀐 것이 아니라 앞선 요청이 많을 뿐인 경우가 대부분입니다.
흔한 두 가지 오해
오해 1: 첫 토큰이 빠르면 강한 모델이다. 첫 토큰 지연은 주로 스케줄링과 입력 처리를 반영할 뿐 답변 품질과 직접 관련이 없습니다. 작은 모델일수록 시작은 빠르지만 답변은 얕은 편입니다. 오해 2: 오래 기다리면 멈춘 것이다. 화면에 사고 중이라고 표시되거나 큰 파일을 올린 직후라면 조금 더 기다리는 것이 정상 처리입니다. 오랫동안 변화가 없고 새로고침해도 같을 때 연결이나 서비스 문제를 의심해야 합니다.
실제로 판단하는 법
제품을 비교하거나 느린 원인을 찾을 때는 시간을 둘로 나눠 보세요. 전송부터 첫 글자까지가 첫 토큰 지연, 첫 글자부터 전체가 끝날 때까지가 생성 시간입니다. 앞부분이 길면 문맥을 줄이고 불필요한 첨부를 빼고 피크 시간을 피하세요. 뒷부분이 길면 출력이 빠른 모델을 고르면 됩니다. 이렇게 나누면 어느 단계가 느린지 분명해집니다.
