Pour obtenir des réponses plus longues que la longueur maximale d’un message de l’API OpenAI (4096 tokens pour gpt-3.5-turbo), vous pouvez réaliser une série de demandes et faire quelques autres manipulations.
L’API de OpenAI ne supporte pas directement la pagination dans le sens ou vous ne pouvez pas demander explicitement une partie spécifique d’une réponse. Au lieu de cela, vous devrez gérer manuellement la salve de messages et les réponses.
Voici une méthode possible pour réaliser la pagination avec l’API de ChatGPT :
1. Effectuer une demande avec un message pour commencer la conversation. Une fois que le nombre maximum de tokens a été atteint, prendre note du dernier message.
1. Pour la requête suivante, inclure tous les messages originels, mais en enlevant les plus anciens jusqu’à ce que vous ayez suffisamment de place pour obtenir plus de texte.
1. Recommencer le processus autant de fois que nécessaire.
Notez que cela peut être un peu délicat, car le modèle ne conserve aucun état interne entre les demandes. C’est à vous de lui dire ce dont il doit se souvenir en réinsérant les messages précédents.
Cependant, faites attention à ne pas dépasser la limite de tokens pour une prompte individuelle.
Voir le guide de OpenAI pour plus de détails sur comment utiliser leur API de Chat.
Enfin, soyez conscient que les résultats peuvent varier à chaque fois car la génération de texte est un processus probabiliste.
Si vous voulez être certain d’obtenir exactement la même sortie pour une même entrée, vous pouvez définir `temperature` à 0, mais cela rendra le texte généré moins diversifié et possiblement plus répétitif.
