Los mensajes enviados a la API de OpenAI, incluyendo el mensaje de entrada y todos los mensajes en el campo de ‘messages’, deben tener un total combinado de menos de 4096 tokens. Si un mensaje excede este límite, tendrás que recortarlo o dividirlo de alguna manera.
Es importante destacar que el recuento de tokens se aplica tanto a la entrada de la API como a la salida de la API. Cada respuesta completa de la API (que incluye tanto el mensaje de entrada como el mensaje de salida del modelo) debe contener menos de 4096 tokens. Si una respuesta del modelo hace que la conversación sea demasiado larga, el modelo completará una respuesta más corta.
Finalmente, hay que tener en cuenta que se facturan los tokens por la cantidad utilizada tanto en la entrada como en la salida del modelo.
