I. 기본 정보
Portkey.ai는 생성적 AI 애플리케이션을 위한 프로덕션급 플랫폼입니다. 핵심 기능으로는 AI 게이트웨이, 풀스택 관측 가능성, 비용 및 할당량 거버넌스, 신속 및 정책 관리, 모델 라우팅 및 롤백 등이 있습니다. 이 플랫폼은 여러 모델과 클라우드 서비스를 연결하는 통합 API를 제공하여 팀이 비즈니스 아키텍처를 변경하지 않고도 안정성, 규정 준수 및 비용 관리를 달성할 수 있도록 지원합니다. 주요 사용자로는 애플리케이션 개발자, 플랫폼 엔지니어링 및 데이터 팀, 그리고 감사 및 SLA 요구 사항이 있는 조직이 있습니다.
II. 제품 개요
Portkey.ai는 게이트웨이 및 콘솔 아키텍처를 통해 요청 라우팅, 요금 및 예산 한도, 키 및 액세스 제어, 캐싱 및 폴백, 가드레일 및 프롬프트 템플릿 관리, 그리고 엔드투엔드 추적을 통합 시스템으로 통합합니다. 개발자는 통합 API를 최소한으로 수정하여 콘솔에서 직접 모델을 전환하고, A/B 테스트를 수행하고, 정책을 배포하고, 비용을 할당할 수 있으므로 잦은 코드 변경이 필요 없습니다. 또한 이 플랫폼은 각 호출에 대한 지연 시간, 비용 및 품질 하이라이트를 기록하는 로그 및 메트릭 뷰를 제공하여 문제 위치 파악 및 용량 계획에 도움을 줍니다. 까다로운 시나리오의 경우 클라우드 호스팅 및 엔터프라이즈급 배포를 지원하며, 주류 프레임워크와의 통합 사례를 제공합니다.
III. 핵심 기능
1. 주요 기능
통합 AI 게이트웨이
단일 인터페이스를 통해 여러 모델과 배포에 액세스할 수 있으며, 부하 분산, 재시도 및 롤백은 물론 공급업체와 여러 계정 간의 라우팅 정책을 지원합니다.
풀스택 관찰성
요청 및 응답의 주요 차원을 기록하여 호출 체인 추적, 성능 및 비용 시각화, 품질 비교, 이상 분석을 제공합니다.
비용 및 예산 거버넌스
비용 귀속은 사용자, 테넌트 또는 애플리케이션별로 수행할 수 있으며, 예산 및 요금 한도를 설정할 수 있고, 자동 가격표 업데이트와 사용자 정의 가격 책정 전략이 지원됩니다.
캐싱 및 A/B 테스트
유사한 요청에 대한 의미적 캐싱은 중복 오버헤드를 줄이고, 실험적 라우팅은 다양한 모델, 힌트, 매개변수 조합을 비교합니다.
안전 및 규정 준수
엔터프라이즈 ID 시스템과 배포 옵션을 결합하면 키와 액세스 정책의 중앙 관리, 감사 로그 출력, 규정 준수 요구 사항이 충족됩니다.
2. 기술적 특성
통합 API는 모델 차이를 가리고, 라우팅 계층은 대기 시간, 비용, 가용성에 따라 동적 선택을 지원합니다.
로그 기록은 여러 차원을 포괄하므로 단일 통화 내에서 대기 시간, 비용, 적중률을 동시에 쉽게 분석할 수 있습니다.
금액이나 토큰을 기반으로 예산 임계값을 설정하고, 사용자 수준 비용 추적을 가능하게 하는 메타데이터 주석을 제공합니다.
일반적인 생태계와 통합되고, LangChain과 같은 개발 프레임워크와 호환되며, SDK와 가이드라인을 제공하여 액세스 비용을 절감합니다.
IV. 가격 및 버전
이 플랫폼은 무료 티어와 고급 플랜을 제공하며, 사용량 및 기능 권한에 따라 가격이 책정됩니다. 엔터프라이즈 플랜은 높은 동시성 및 규정 준수 시나리오를 목표로 하며, 더 높은 로그 할당량, 거버넌스 정책 및 다양한 배포 구성을 지원합니다. 구체적인 가격, 할당량 및 지원 정책은 공식 웹사이트에 따라 변경될 수 있으며, 기간 및 프로모션에 따라 조정될 수 있습니다.
V. 적용 가능한 시나리오 및 대상 청중
채팅 및 검색 강화, 문서 및 지식 Q&A, 배치 생성 및 크리에이티브 제작, 평가 및 정렬 관리, 그리고 외부 고객을 위한 AI 기능 인터페이스에 적합합니다. 안정적인 구축과 비용 관리가 필요한 애플리케이션 팀, 규정 준수 및 감사 요건을 충족해야 하는 기업 IT 및 플랫폼 부서, 그리고 다중 모델 조합 전략을 모색하는 R&D 및 데이터 과학 팀 등이 주요 대상입니다.
VI. 자주 묻는 질문
질문: Portkey.ai의 "통합 API"는 어떤 엔지니어링 문제를 해결할 수 있나요?
A: 통합 API는 다양한 모델과 공급자의 세부 정보를 보호하여 단일 통합으로 라우팅, 폴백, 캐싱 및 관찰 기능을 제공하고, 반복적인 통합 및 유지 관리 비용을 줄여줍니다.
질문: 비용 배분 및 예산 관리를 어떻게 수행하나요?
A: 콘솔에서 메타데이터를 사용하여 통화에 태그를 지정하고, 사용자 또는 테넌트별 비용을 계산하고, 가상 키 또는 토큰에 대한 예산 임계값을 설정할 수 있습니다. 한도를 초과하면 통화가 자동으로 차단되거나 경보가 발생합니다.
질문: 관찰 가능성에는 구체적으로 어떤 차원이 포함됩니까?
답변: 이 플랫폼은 각 요청에 대한 지연 시간, 비용, 프롬프트 및 매개변수, 공급자 및 모델 버전, 응답 품질 포인트 등을 기록하고 검색, 집계 및 보고서 내보내기를 지원하여 이상 현상의 위치 파악과 실험 결과 비교를 용이하게 합니다.
질문: 기존 코드를 크게 변경해야 합니까?
A: 통합은 최소한의 변경만을 목표로 합니다. 기존의 직접 연결 모델 호출을 Portkey 게이트웨이 호출로 대체하면 대부분의 전략 및 모델 전환을 잦은 코드 수정 없이 콘솔에서 완료할 수 있습니다.
질문: 배포 및 규정 준수는 어떻게 보장됩니까?
A: 클라우드 호스팅 및 엔터프라이즈급 배포 옵션, 중앙 집중식 키 관리 및 감사 로그 출력을 제공하여 엔터프라이즈 ID 시스템 및 규정 준수 프로세스와의 통합을 용이하게 합니다. 구체적인 형태는 기업 솔루션에 따라 다릅니다.
