2026년 9월 22일, AI 모델 API 통합 플랫폼 OpenRouter가 공식 블로그를 통해 Batch API 출시를 발표했습니다. 요청을 묶어 일괄 제출하면 공급자가 24시간 윈도우 안에서 실행 시간을 자유롭게 정하는 대신, 요금은 일반적으로 표준 토큰 단가의 50%, 일부 모델은 그 이하로 내려갑니다. 출시 첫날부터 70개 이상의 모델이 지원됩니다.
반값과 맞바꾸는 것: 확정성
Batch API의 핵심 거래는 명확합니다. '지금 당장 결과'를 포기하는 대신, 공급자는 '오프피크에 스케줄링할' 자유를 얻습니다. 호출 방식은 api/v1/batches에 요청 목록을 POST하고 엔드포인트 형태를 지정하는 것인데, 채팅 완성, responses, messages, 임베딩 네 가지가 모두 지원됩니다. 제출 후에는 배치 상태를 폴링해 completed, failed, expired, cancelled 중 하나가 될 때까지 기다리면 결과가 인라인으로 반환됩니다.
OpenAI의 Batch API와 같은 발상이지만, OpenRouter 버전에는 두 가지 차이점이 있습니다. 첫째, 라우팅은 기본적으로 '사용자 허용 목록, 데이터 정책, BYOK 설정 하에서 가장 저렴한 배치 엔드포인트'를 선택하며, 하나의 배치는 단일 공급자에 고정됩니다. 둘째, 각 요청의 결과가 독립적으로 반환되므로 몇 개의 불량 데이터가 전체 배치를 망치지 않습니다. 입력과 결과는 30일간 보관되며, DELETE로 언제든 삭제할 수 있습니다.
2주 베타 데이터: 예상보다 빠르지만, 시간대가 관건
OpenRouter는 23만 개가 넘는 배치를 대상으로 한 2주 베타 데이터를 공개했습니다. 중앙값은 7분 만에 완료, 90%는 1시간 안에 끝났습니다. 즉, 24시간을 기다리는 경우는 거의 없습니다.
다만 시간대 영향이 뚜렷합니다. 태평양 시간 오전 5시부터 정오에 제출된 배치는 현저히 느려 가장 느린 10분의 1은 2~4.5시간이 걸립니다. 다른 시간대에는 90퍼센타일이 1.1시간 이하로 떨어지고, 태평양 시간 오후 6시 이후에는 50분 미만입니다. 배치 크기의 영향은 오히려 작아 1,000건이 넘는 요청도 중앙값 12~21분에 완료됩니다.
어울리는 작업, 어울리지 않는 작업
어울리는 것은 코퍼스 라벨링, 임베딩 백필, 평가 세트 채점, 티켓 백로그 요약, 같은 프롬프트를 수천 행 데이터에 돌리는 작업 등 '하룻밤 기다릴 수 있는' 워크로드 전반입니다.
어울리지 않는 것은 실시간 대화, 오디오·비디오 입력이 필요한 작업(배치 미지원), OpenRouter 웹 검색 플러그인에 의존하는 요청(검색 호출은 표준 요금으로 청구되며 플러그인 자체가 배치를 지원하지 않음)입니다. 이미지와 파일 입력은 공개 URL이어야 합니다.
API 비용 구조에 대한 의미
Batch API는 '지연 시간'을 정식으로 거래 가능한 상품으로 바꿨습니다. 개인 개발자와 소규모 팀에게는 비싸서 대규모로 돌리지 못했던 평가·데이터 처리 작업에 공식 고정 반값 채널이 생긴 셈입니다. 대가는 워크플로 변경입니다. 요청-응답의 한 번 왕복이 아니라 제출-폴링-결과 회수라는 비동기 흐름으로 바뀌어야 합니다. 이 전환을 받아들일 수 있는 팀은 추론 비용이 그대로 절반이 됩니다.
