TypeSafe AI의 Jev 1.13은 입력 토큰당 요금이 부과되며, 공식 현재 가격은 백만 입력 토큰당 $0.042로, 이는 십억 토큰당 $42입니다; 출력 토큰은 무료입니다. 실제 청구는 질문 수나 반환 옵션만이 아니라 주, 발행 설명, 입력 사용 후보 기준에 따라 달라집니다.
이 가격 정보는 현재 제품이 초기 공급 단계이므로 조정될 수 있습니다. 예산을 편성할 때는 출시 가격을 비즈니스 구성에 단순히 입력하기보다는 콘솔 사용 정보와 최신 공식 모델 페이지를 읽어야 합니다.
입력에 포함된 콘텐츠는 무엇인지요
단일 요청 내의 상태, 질문, 지침, 기준 모두 모델이 처리해야 하는 입력입니다. JEV는 동일한 상태에 대해 여러 질문을 병렬로 평가하므로, 관련 질문을 하나의 요청으로 통합하는 것이 같은 상태를 반복 보내는 것보다 보통 더 경제적입니다. 출력 선택, 확률, 신뢰도에 대해 추가 출력 수수료가 부과되지 않습니다.
간단한 비용 알고리즘
월간 비용을 추정하려면 "총 월간 입력 토큰 × 0.042 ÷ 1,000,000"이라고 말할 수 있습니다. 예를 들어, 시스템이 매일 많은 수의 단기 작업 지시를 처리한다면, 실제 비용 영향은 각 작업 지시서의 총 입력 길이와 문제 표준입니다. 비용 절감을 위해 필요한 경계 조건을 삭제하지 마세요; 중복 필드, 로그 잡음, 판단과 무관한 과거 콘텐츠를 우선적으로 제거하세요.
현재 모델에 대해 아직 어떤 제한이 남아 있나요?
- JEV 1.13에서는 요청당 총 컨텍스트 제한이 64,000개의 토큰입니다.
- State와 최대 단일 질문 수는 32,000개의 토큰으로 제한됩니다.
- 공식 모델 페이지에는 현재 초당 250,000 토큰과 분당 1,200 요청 상한선이 나와 있습니다.
- 속도 한도를 초과하면 429가 반환되며; 공식 SDK는 기본적으로 재시도를 피하고 재시도 후 재시도를 따릅니다.
공식 성명에는 얼리 액세스 기간 동안 속도 제한이 동적으로 조정되며, 기업 및 맞춤형 계획이 더 높은 상한선을 적용할 수 있다고 명시되어 있습니다. 생산 시스템은 제한이 영구적으로 유지된다고 가정해서는 안 되며; 동시성, 대기열, 재시도 매개변수도 이에 맞게 구성되어야 합니다.
비용과 지연 시간을 동시에 통제하는 방법
- 먼저, 전체 과거 파일을 상태 안에 채우지 않도록 코드에서 관련 없는 레코드를 걸러내세요.
- 동일한 상태를 공유하는 원자 문제들은 중복 입력을 줄이기 위해 병합되어 전송됩니다.
- 안정적인 데이터의 전처리 결과는 캐시하되, 오래된 비즈니스 판단은 캐시하지 마세요.
- 각 요청 유형별 토큰, 지연 시간 및 수동 검증 속도를 기록하며, 워크플로우별 값을 계산합니다.
jev-latest을 업그레이드하기 전에 고정된 버전으로 테스트를 다시 진행해 임계값 조용한 고장을 피하세요.
낮은 단가가 모든 작업을 모델에 호출해야 한다는 뜻은 아닙니다. 정규식, 데이터베이스 쿼리 또는 일반 코드로 정확히 완료할 수 있는 단계는 코드로 계속 진행되어야 하며; 의미 판단이 필요한 단계만 JEV에 넘겨야 하며, 이는 비용과 신뢰성을 향상시킵니다.
