AI 可観測性
AI アプリ公開後の呼び出しチェーンを追います。tracing、コスト配分、遅延指標がどう問題箇所を特定するのか、ゲートウェイ製品が何を補うのかを扱います。
呼び出しチェーンが長くなると、どの層で失敗したのか特定できなくなります。生成アプリ公開後によくある行き詰まりです。LangChain は tracing をモデルとツール呼び出しの単位まで進め、Portkey.ai はルーティング、フォールバック、予算上限、エンドツーエンドの追跡を一つのゲートウェイにまとめました。遅延、呼び出しごとの費用、品質の指標が調査項目になり、コスト配分は容量計画にも影響します。
