Le nombre de tokens dans un message peut être déterminé en utilisant un procédé appelé tokenisation. C’est un processus qui coupe le texte en morceaux individuels appelés tokens.
Il existe plusieurs manières de tokeniser un texte, mais la méthode la plus courante consiste à se baser sur des espaces et des signes de ponctuation.
Par exemple, le texte “Bonjour, comment ça va ?” comprend 5 tokens, soit : “Bonjour”, “,”, “comment”, “ça”, “va”, “?”.
On peut utiliser des outils en ligne ou des bibliothèques de traitement de texte en programmation pour procéder à la tokenisation et donc déterminer le nombre de tokens dans un message. On peut par exemple utiliser la fonction word\_tokenize() de la bibliothèque NLTK en Python.
Il faut toutefois noter que le comptage de tokens peut varier en fonction de la manière dont on définit un token. Par exemple, “C’est” pourrait être considéré comme un seul token ou comme deux tokens (“C’” et “est”).
Veuillez également noter que pour OpenAI, un “token” peut être aussi court qu’un caractère ou aussi long qu’un mot. Par exemple, “Chat” est un token, “Chaton” est deux tokens: “Chat” et “on”. De plus, la plupart des caractères de ponctuation sont considérés comme des tokens séparés. Autrement dit, “Chat,” consisterait en deux tokens: “Chat” et “,”.
