In de ChatGPT API van OpenAI verwijst een token naar de teruggave van tekst onderverdeeld in kleinere stukjes. Bijvoorbeeld, “ChatGPT is geweldig” is 5 tokens – [‘Chat’, ‘G’, ‘PT’, ‘ is’, ‘ geweldig’]. Tokens kunnen zo kort zijn als één karakter of zo lang als een woord (bijv. ‘Chat’). Houd er rekening mee dat het model een limiet heeft van 4096 tokens per aanvraag.
Belangrijk is dat in veel talen, zoals Chinees en Japans, één teken mogelijk als één token wordt beschouwd. Punctuation, spaces and special characters are also counted as individual tokens. Tokens are units of text input and output for the API response and affect both cost and response time.
