GPT-5 및 GPT-5-mini API 전류 제한 증가: 대규모 추론 및 일괄 처리를 위한 다중 TPM
이번 증가는 GPT-5의 티어 1이 30K TPM에서 500K TPM으로 상향 조정되었으며(일괄 처리 제한은 1.5M), 티어 2는 1M(일괄 처리 제한은 3M), 티어 3은 2M으로, 티어 4는 4M으로 상향 조정되었습니다. GPT-5-mini의 Tier 1이 500K(일괄처리 5M)로 상향되었습니다. 높은 동시성과 긴 컨텍스트가 필요한 AI 워크로드의 경우 이는 즉각적인 처리량 향상입니다.
1. 변경 사항 목록
1. GPT-5(표준 모델)
Tier 1: 30K → 500K TPM(배치 1.5M)
Tier 2: 450K → 1M(배치 3M)
Tier 3: 800K → 2M
계층 4: 2M → 4M
2, GPT-5-mini(경량 모델)
계층 1: 200K → 500K TPM(배치 5M)
2. 이것이 엔지니어링에 의미하는 바
1. 동시성과 긴 컨텍스트가 더 안정적입니다.
높은 TPM은 32K 이상의 컨텍스트에서 처리량 병목 현상을 직접적으로 완화하고 배치 평가, 긴 형식의 아티클 생성 및 다중 도구 에이전트를 통해 대기열 및 제한 대체를 줄일 수 있습니다.
2. 일괄 처리 비용 성능 향상
배치대기열이 높을수록 작은 요청을 병합할 수 있어 각 호출의 핸드셰이크 및 네트워크 오버헤드가 줄어들고 로그 요약 및 다중 프롬프트 병렬 처리에 적합합니다.
3. 비용 및 현재 스로틀링 거버넌스를 더 잘 제어할 수 있으며
동일한 예산으로 더 효과적인 토큰을 운반할 수 있습니다. 속도 제한 및 단계적 축소 정책을 사용하면 피크를 배치 채널로 평탄화할 수 있습니다.
3. 빠른 랜딩 목록
1. 라우팅 및 할당량
(1) 긴 컨텍스트 및 평가 작업을 GPT-5로 라우팅합니다. 가벼운 상호 작용 및 모니터링을 위해 GPT-5-mini를 사용합니다.
(2) 단일 테넌트에 대한 "과밀화"를 방지하기 위해 각 프로젝트 및 환경에 대한 TPM 임계값을 설정합니다.
(3) 즉각적인 혼잡을 방지하기 위해 실패한 재시도의 지수 백오프를 활성화합니다.
2. 일괄 처리 및 캐싱
(1) 유사한 요청을 병합하고 모델의 최적 범위에서 배치 크기를 제어합니다.
(2) 힌트 및 검색 결과 캐싱을 활성화하여 중복 토큰 소비를 줄입니다.
(3) 대류 출력 유지 시간 초과 및 중단점 지속.
3. 측정 및 회귀
(1) 수락률, 취소율 및 단위 토큰 비용을 추적합니다.
(2) 8K, 32K 및 128K 컨텍스트에 대한 스트레스 테스트 기준선을 수행합니다.
(3) 정책 전환 지터를 방지하기 위해 이전 할당량 대체 경로를 예약합니다.
자주 묻는 질문(Q&A)
Q: 조직의 현재 GPT-5 및 GPT-5-mini 제한 및 계층을 어떻게 확인할 수 있나요?
A: 플랫폼의 할당량 페이지에서 조직의 사용량 계층 및 모델 할당량을 보고 청구 및 사용량 보고서를 사용하여 실제 TPM 및 일괄 처리 할당량을 확인합니다.
Q: TPM 계산 규칙은 max_tokens와 어떤 관련이 있습니까?
A: TPM은 입력 토큰과 설정된 최대 출력량 중 더 큰 값을 기준으로 계산되며, "부풀려진" 점유를 피하기 위해 최대 출력을 실제 수요에 가깝게 유지하는 것이 좋습니다.
Q: 일괄 처리가 전반적으로 동시 요청을 대체할 수 있습니까?
A: 지연을 견딜 수 있는 유사한 작업에 적합합니다. 대화형 대화와 도구 호출은 여전히 대기 시간이 짧은 단일 요청이 지배적이며 일괄 처리로 보완됩니다.
Q: 이 한도 증가가 장기적으로 효과적입니까?
A: 공식 발표는 "한도 증가"이며, 구체적인 장기 전략은 플랫폼 문서 및 후속 발표에 따라 달라지며, 한도 되돌리기 및 다중 모델 바닥을 유지하는 것이 좋습니다.
