2026년 10월 1일, OpenRouter는 공식 블로그를 통해 에이전트 작업용 모델을 고르는 3단계 프레임워크를 공개했습니다. 출발점은 직관에 반하는 주장입니다. 리더보드 순위로 고르면 필요 없는 순위에 프론티어급 요금을 내게 됩니다. 올바른 질문은 '어떤 모델이 점수가 가장 높은가'가 아니라 '딱 충분하면서 가장 저렴한 모델은 무엇인가'입니다.
리더보드 순위가 에이전트 모델 선정을 오도하는 이유
리더보드는 내 일과 무관한 과제들의 평균 점수로 모델을 줄 세웁니다. 내 에이전트의 일은 대개 범위가 좁습니다. 티켓 분류, 필드 하나 추출, 확신이 없으면 사람에게 에스컬레이션. 저렴한 모델이 좁은 과제에서 프론티어 모델의 정확도에 도달할 수 있는지는 측정의 문제이며, 리더보드는 그 측정을 대신해주지 않습니다.
에이전트의 요금도 채팅 한 번처럼 계산할 수 없습니다. 채팅 한 번은 한 번만 과금되지만, 에이전트의 도구 호출, 중간 단계, 재시도는 전부 과금 대상입니다. 3단계 루프라면 토큰 단가를 최소 세 번 냅니다. 리더보드 1위로 고른다는 것은 저렴한 모델로도 달성 가능한 일에 프론티어급 요금을 세 번 내는 셈입니다.
3단계 방법의 구체적 진행 방식
1단계: 작업에 품질 기준선을 정합니다. 틀린 답이 책임 문제로 번지는 일(컴플라이언스, 의료, 법률 검토)은 기준선을 높게. 부정 탐지나 실시간 상담처럼 지연에 민감한 일에서는 속도가 세 번째 하드 제약이 됩니다. 저렴하고 정확해도 너무 느린 모델은 먼저 탈락입니다.
2단계: 내 샘플로 실측합니다. 가격대별 대표를 하나씩——저렴, 중급, 프론티어——골라 업무의 실제 사례 20~50개를 각각에 돌리고, 동일한 평가 기준으로 채점한 뒤 비용을 점수로 나눠 '품질 1점당 비용'을 구합니다. 비용은 요금표로 어림잡지 말고 응답마다의 usage.cost 필드를 직접 읽으세요. 그게 플랫폼이 실제로 청구한 금액입니다.
3단계: '기준선을 넘고 여유가 있는' 것 중 가장 저렴한 모델을 고릅니다. 여유가 중요한 이유는 점수가 표류하기 때문입니다. 모델 가중치 업데이트나 내 트래픽 변화로 수치는 움직입니다. 여러 번 돌려 실행 간 점수의 흔들림 폭을 관찰하고, 승자가 그 흔들림 폭 이상으로 기준선을 넘도록 요구하는 것이 방법입니다.
OpenRouter는 계산 예시를 보여줍니다. 기준선 85%인 경우 GPT-5.6 Luna는 82점으로 즉시 탈락——기준선 이하면 저렴해도 소용없습니다. Gemini 3.7 Flash는 89점으로 기준선을 넘고 1,000요청당 1.09달러로 선정됩니다. Claude Opus 5는 97점이지만 1,000요청당 7.25달러로, 작업이 요구하지 않은 사치입니다. 가격과 점수는 예시이며, 실전에서는 자신의 측정값을 쓰세요.
이 방법의 경계는 어디인가
3단계 방법은 모델 선정을 감에서 측정으로 바꾸지만 세 가지 전제 위에 서 있습니다. 첫째, 품질 기준선은 내가 정하는 것으로, 이 주관적 판단을 틀리면 이후 전부가 틀립니다. 둘째, 측정은 측정한 날에만 참입니다. 모델 신버전이나 가격 변동으로 결론이 낡으므로 다시 돌려야 합니다. 셋째, 이것은 '비용과 품질의 트레이드오프'를 다루는 것이지 '애초에 에이전트를 써야 하는가'는 다루지 않습니다. 작업 분해 자체가 나쁘면 아무리 저렴한 모델도 돈 낭비입니다.
