OpenAI API

Was ist Prompt-Caching? Warum lange Prompts und mehrere Runden von Agenten versuchen, einen Weg zu finden, den Cache zu verschlingen

Prompt-Caching bezieht sich darauf, die wiederkehrenden Prompt-Präfixe in der Modellanfrage zu cachen und dann zu versuchen, die Verarbeitungsergebnis...