Die „ChatGPT“API akzeptiert eine Nachrichtenliste, die nicht mehr als 4096 Token oder eine Einzelnachricht, die nicht mehr als 2048 Token enthält. Der Text, den Sie an die API senden, einschließlich Eingabe und Ausgabeprompts, muss unter dieser Obergrenze von 4096 Tokens liegen. Ein Token kann so kurz wie ein einzelnes Zeichen oder so lang wie ein Wort sein. Beispielsweise ist “ChatGPT ist großartig!” in fünf Token unterteilt: [“Chat”, “GPT”, “ ist”, “ groß”, “artig!”].
Wenn eine Anfrage mehr als 4096 Token enthält, gibt die API einen Fehler zurück.
Denken Sie daran, dass das Modell bei längeren Konversationen am Anfang der Konversation möglicherweise einige Kontextinformationen vergisst, da das Modell nur eine endliche Anzahl von Tokens (z.B. 4096 für gpt-3.5-turbo) in seinem “Aktivierungsspeicher” behalten kann.
