OpenAI API

プロンプトキャッシュとは何ですか? なぜ長いプロンプトや複数ラウンドのエージェントがキャッシュを食べる方法を探すのか

プロンプトキャッシュとは、モデルリクエスト内で繰り返し現れるプロンプトプレフィックスをキャッシュし、今後同じまたは非常に一貫したプレフィックスに遭遇した際に、毎回一から数えるのではなく、処理結果を直接再利用しようとする方法を指します。 過去2年間で人気が高まっている理由は、名前の高度なことではなく、...