프롬프트 캐싱은 대규모 모델 API의 비용 절감 장치입니다. 같은 대화나 같은 종류의 요청에서 반복되는 앞부분을 서버가 한 번 계산해 저장해 두고, 다음 요청의 시작이 글자 하나까지 똑같으면 그 계산 결과를 그대로 재사용합니다. 절약되는 것은 입력 토큰 비용과 첫 글자가 나올 때까지의 대기 시간, 두 가지입니다.
캐싱되는 것은 답이 아니라 계산 도중의 상태
모델은 답하기 전에 보내진 글 전체를 층마다 처리합니다. 이 전처리를 프리필이라 하며, 글이 길수록 비싸고 느려집니다. 프롬프트 캐싱이 저장하는 것은 프리필의 중간 상태, 흔히 KV 상태라 불리는 것입니다. 캐시가 적중하면 모델은 반복 작업을 건너뛰고 새로 추가된 부분만 처리한 뒤 평소처럼 한 글자씩 답을 생성합니다. 옛 답을 재생하는 것이 아니므로, 같은 자료라도 질문이 다르면 답도 새로 만들어집니다.
적중하려면 세 가지 조건이 동시에 맞아야 합니다
첫째, 앞부분이 맨 처음부터 정확히 일치해야 합니다. 시스템 프롬프트, 도구 정의, 고정 문서는 앞에 있어 적중하기 쉽고, 매번 바뀌는 내용을 앞에 두면 그 뒤는 전부 적중하지 못합니다. 둘째, 길이가 충분해야 합니다. 각 사는 대략 천 토큰 안팎의 하한을 두어, 짧은 지시문으로는 발동하지 않습니다. 셋째, 유효 기간 안에 다시 써야 합니다. 캐시 수명은 보통 몇 분이며 적중할 때마다 연장됩니다. 개발자가 캐시 지점을 명시하고 쓰기에 할증, 읽기에 큰 할인을 적용하는 방식도 있고, 앞부분을 자동으로 맞추는 방식도 있습니다.
다른 두 가지 캐시와는 다릅니다
의미 캐시는 질문과 답을 쌍으로 저장해, 뜻이 비슷한 질문에 옛 답을 돌려줍니다. 프롬프트 캐싱은 답을 돌려주지 않고 반복 계산만 줄입니다. 컨텍스트 창과도 다릅니다. 창은 모델이 한 번에 볼 수 있는 글의 양, 즉 용량의 문제이고, 캐싱은 그 글을 다시 계산할지의 문제입니다. 창이 크다고 반복 내용이 공짜가 되지는 않습니다.
흔한 세 가지 오해
첫째, 앞부분 단어 하나쯤 바꿔도 괜찮다는 오해입니다. 대조는 엄격해서 처음 달라진 지점부터 뒤는 전부 다시 계산됩니다. 날짜나 사용자 이름을 맨 앞에 넣는 것이 적중률을 떨어뜨리는 전형적인 방식입니다. 둘째, 캐싱되면 공짜가 된다는 오해입니다. 적중한 입력은 훨씬 싸지지만, 새 내용과 생성되는 글자는 정상 요금입니다. 셋째, 대화가 길수록 무조건 이득이라는 오해입니다. 중간에 도구 결과나 검색 조각처럼 매번 바뀌는 내용이 끼면 뒷부분은 거의 적중하지 않습니다. 변하지 않는 것을 앞에, 변하는 것을 뒤에 두는 것이 실용적인 배치입니다.
혜택이 큰 경우는 긴 시스템 프롬프트와 도구 정의를 가진 에이전트, 같은 긴 문서를 반복해서 묻는 지식 베이스, 같은 지시문을 공유하는 일괄 작업입니다. 짧고 매번 바뀌는 일회성 질문에서는 존재를 거의 느끼지 못합니다.
