ChatGPT a une mémoire de travail à court terme et il ne possède pas de mémoire à long terme conventionnelle à proprement parler.
ChatGPT est basé sur GPT-3, un modèle de langage formé par OpenAI. Le travail principal du modèle est de générer du texte qui ressemble à celui produit par des êtres humains. Pour cela, il apprend à prédire le prochain mot d’un texte en utilisant de grands volumes de données textuelles en entrée.
Cependant, sa mémoire n’est pas la même que celle des êtres humains. Son processus d’apprentissage ne crée pas de souvenirs spécifiques. Il n’a pas la possibilité de retenir des informations sur des conversations précédentes ou des entrées de données précédentes. Ainsi, tout comme il ne peut pas se souvenir de qui l’a utilisé, il ne peut pas se souvenir des informations détaillées qu’il a générées dans le passé.
Cela est principalement dû à sa structure d’apprentissage profond connue sous le nom de Transformers. Ces modèles sont “stateless”, ce qui signifie qu’ils ne conservent pas les informations entre les sessions d’apprentissage. De plus, c’est une caractéristique souhaitée et nécessaire pour des raisons éthiques et liées à la confidentialité. Le GPT-3 n’a pas été conçu pour stocker ou se rappeler des informations personnelles que les utilisateurs pourraient partager avec lui.
Il convient de mentionner ici que c’est là une différence majeure entre les modèles d’intelligence artificielle comme GPT-3 et l’intelligence humaine. Les êtres humains ont la capacité de se souvenir des événements passés et d’utiliser ces connaissances pour former des réponses futures. Les modèles IA comme le GPT-3, en revanche, fonctionnent en analysant de grandes quantités de données et en produisant des réponses en fonction de ces données.
Il est important de noter cependant qu’un modèle comme GPT-3 peut sembler avoir une forme de mémoire à long terme dans le sens où il donne des informations basées sur les données d’entraînement qu’il a reçues. Ceci est différent de la mémoire à long terme chez les humains, où les informations sont stockées pour être utilisées dans le futur.
La source utilisée pour cette réponse est le blog de OpenAI qui donne des informations détaillées sur le fonctionnement de GPT-3.
Référence:
- Blog OpenAI, “Language Models are Few-Shot Learners”, https://openai.com/blog/language-models/
