I. 基本情報
Portkey.aiは、生成AIアプリケーション向けの本番環境対応プラットフォームです。コア機能には、AIゲートウェイ、フルスタックの可観測性、コストとクォータのガバナンス、プロンプトとポリシーの管理、モデルのルーティングとロールバックなどが含まれます。このプラットフォームは、複数のモデルとクラウドサービスを接続する統合APIを提供し、ビジネスアーキテクチャを変更することなく、信頼性、コンプライアンス、コスト管理を実現します。主なユーザーには、アプリケーション開発者、プラットフォームエンジニアリングおよびデータチーム、監査およびSLA要件を持つ組織などが挙げられます。
II. 製品概要
Portkey.aiは、ゲートウェイとコンソールアーキテクチャを通じて、リクエストルーティング、レートと予算の制限、キーとアクセス制御、キャッシュとフォールバック、ガードレールとプロンプトテンプレート管理、エンドツーエンドのトレースを統合システムに統合します。開発者は、統合APIへの最小限の変更で、モデルの切り替え、A/Bテストの実施、ポリシーの導入、コストのアトリビューションをコンソールから直接実行できるため、頻繁なコード変更の必要性がなくなります。また、このプラットフォームはログとメトリクスビューを提供し、各呼び出しのレイテンシ、コスト、品質のハイライトを記録することで、問題の特定とキャパシティプランニングを支援します。要求の厳しいシナリオ向けに、クラウドホスティングとエンタープライズレベルの導入をサポートし、主要なフレームワークとの統合例も提供しています。
III. コア機能
1. 主な機能
統合AIゲートウェイ
単一のインターフェースを介して複数のモデルとデプロイメントにアクセスでき、負荷分散、再試行、ロールバック、プロバイダーと複数のアカウント間のルーティング ポリシーをサポートします。
フルスタックの可観測性
リクエストとレスポンスの主要なディメンションを記録し、呼び出しチェーンのトレース、パフォーマンスとコストの視覚化、品質の比較、異常分析を提供します。
コストと予算のガバナンス
コストの帰属はユーザー、テナント、またはアプリケーションごとに実行でき、予算とレートの制限を設定できます。また、価格表の自動更新とカスタム価格設定戦略がサポートされています。
キャッシュとA/Bテスト
類似リクエストのセマンティック キャッシュにより冗長なオーバーヘッドが削減され、実験的なルーティングではさまざまなモデル、ヒント、およびパラメータの組み合わせが比較されます。
安全性とコンプライアンス
エンタープライズ ID システムと展開オプションを組み合わせることで、キーとアクセス ポリシーの集中管理、監査ログの出力、コンプライアンス要件が満たされます。
2. 技術的特徴
統合された API はモデルの違いをマスクし、ルーティング レイヤーはレイテンシ、コスト、可用性に基づいた動的な選択をサポートします。
ログ レコードは複数の次元をカバーしているため、1 回の呼び出しでレイテンシ、コスト、ヒット率を同時に分析することが容易になります。
金額またはトークンに基づいて予算しきい値を設定することをサポートし、ユーザーレベルのコスト追跡を可能にするメタデータ注釈を提供します。
一般的なエコシステムと統合し、LangChain などの開発フレームワークと互換性があり、アクセス コストを削減するための SDK とガイドラインを提供します。
IV. 価格とバージョン
このプラットフォームは、無料プランとアドバンスプランを提供しており、使用量と機能権限に基づいて段階的に価格が設定されます。エンタープライズプランは、高同時実行性とコンプライアンス重視のシナリオを対象としており、より高いログクォータ、ガバナンスポリシー、そして多様なデプロイメント構成をサポートします。具体的な価格、クォータ、サポートポリシーは、公式ウェブサイトの内容に基づいて変更される場合があり、また、期間限定やプロモーション期間中に調整される可能性があります。
V. 適用可能なシナリオと対象者
チャットや検索機能の強化、ドキュメントやナレッジに関するQ&A、バッチ生成やクリエイティブ制作、評価やアライメント管理、外部クライアント向けのAI機能インターフェースなどに適しています。安定した導入とコスト管理を必要とするアプリケーションチーム、コンプライアンスや監査要件を持つエンタープライズITおよびプラットフォーム部門、マルチモデル連携戦略を模索する研究開発およびデータサイエンスチームなどが対象です。
VI. よくある質問
Q: Portkey.ai の「Unified API」はどのようなエンジニアリング上の問題点を解決できますか?
A: 統合 API は、さまざまなモデルとプロバイダーの詳細を保護し、ルーティング、フォールバック、キャッシュ、および監視機能を単一の統合で有効にし、繰り返しの統合とメンテナンスのコストを削減します。
Q: コスト配分と予算管理はどのように行うのですか?
A: メタデータを使用して通話にタグを付け、ユーザーまたはテナントごとにコストを計算し、コンソールで仮想キーまたはトークンの予算しきい値を設定できます。制限を超えた場合、通話は自動的にブロックされるか、アラームがトリガーされます。
Q: 可観測性には具体的にどのような側面が含まれますか?
A: プラットフォームは、各リクエストのレイテンシ、コスト、プロンプトとパラメータ、プロバイダーとモデルのバージョン、応答品質ポイントなどを記録し、取得、集約、レポートのエクスポートをサポートしているため、異常の特定や実験結果の比較が容易になります。
Q: 既存のコードに大幅な変更を加える必要はありますか?
A: 統合の目的は変更を最小限に抑えることです。元の直接接続モデルの呼び出しをPortkeyゲートウェイの呼び出しに置き換えることで、ポリシーとモデルの切り替えの大部分は、頻繁なコード変更なしにコンソールで完了できるようになります。
Q: 展開とコンプライアンスはどのように保証されますか?
A: クラウドホスティングとエンタープライズレベルの導入オプション、一元化された鍵管理、監査ログ出力を提供し、企業のアイデンティティシステムやコンプライアンスプロセスとの統合を容易にします。具体的な形態は、企業のソリューションによって異なります。
