Ein Token in der ChatGPT-API ist eine Einheit der Eingabe- oder Ausgabedaten. Das Modell von OpenAI liest Text in Teile, die als Token bezeichnet werden, welche im Englischen sowohl kurze Wörter als auch einzelne Zeichen sein können. Die Anzahl der Token in einer Anfrage wirkt sich auf die Dauer und die Kosten der API-Anforderungen aus. Es gibt auch eine maximale Grenze für die Anzahl der Token, die das Modell verarbeiten kann.