추론 예산이란 모델이 답을 내놓기 전에 내부적으로 사고하는 데 쓸 수 있는 토큰의 상한입니다. 답의 길이를 정하는 것이 아니라 모델이 얼마나 오래 생각할 수 있는지를 정합니다. 예산을 크게 한다고 답이 자동으로 길어지지는 않고, 예산이 너무 작으면 어려운 문제를 충분히 생각하기도 전에 답할 수 있습니다.
세 회사의 명칭은 다르니 섞어 쓰지 마세요
OpenAI는 reasoning.effort를 쓰며 none, minimal, low, medium, high 단계가 있습니다. 단계는 토큰 수가 아닙니다. Claude의 구식은 thinking 안의 budget_tokens로, 직접 숫자를 입력하며 최소 1,024이고 max_tokens보다 작아야 합니다. 신식은 output_config.effort로 low, medium, high, xhigh, max 단계이며, 구식은 최신 모델에서 폐기되었습니다. Gemini 2.5는 thinkingBudget으로 숫자를 입력하며 0은 사고 끄기, -1은 동적 사고입니다. Gemini 3은 thinking_level 단계로 minimal, low, medium, high입니다. 채팅 앱의 일반 사용자는 보통 모델을 고르거나 사고를 켜고 끄거나 단계를 고르는 정도만 할 수 있고, 정확한 숫자를 입력하는 것은 API를 호출하는 개발자의 일입니다.
크게 하든 작게 하든, 각각의 대가
사고 토큰은 출력 토큰으로 과금되며 컨텍스트와 출력 상한도 차지합니다. 예산을 너무 크게 잡으면 답을 쓸 공간이 부족해 모델이 답을 다 쓰기 전에 잘릴 수 있고, 너무 작게 잡으면 어려운 문제에서 단계를 건너뛰거나 틀리기 쉽습니다. 크게 하면 수학, 다단계 계획, 복잡한 디버깅에 대체로 도움이 되지만 비용이 더 들고 느려집니다. 자료 찾기, 요약, 분류, 서식 정리 같은 단순한 작업에서는 효과가 작습니다. 작게 하는 것은 실시간 대화, 음성, 대량 처리에 적합합니다. 싸고 빠르기 때문입니다.
흔한 오해 세 가지
첫째, 예산은 상한이지 정확한 사용량이 아닙니다. 8,000으로 설정한다고 매번 8,000을 쓰는 것은 아니며, 쉬운 문제에서는 모델이 일찍 사고를 마칩니다. 둘째, 크게 한다고 항상 더 정확해지는 것은 아니며, 효과는 체감하고 과도한 사고는 돌아가거나 옳은 답을 스스로 부정하게 만들 수 있습니다. 셋째, 전체 사고 과정은 기본적으로 보이지 않으며 요약이나 펼칠 수 있는 사고 패널만 볼 수 있습니다. 과제마다 가장 낮은 단계부터 시도해 조금씩 올리며, 낭비 없이 충분한 단계를 찾는 것, 그것이 추론 예산의 올바른 사용법입니다.
