ChatGPT a été formé en utilisant un large éventail de données provenant d’Internet. Cependant, OpenAI, l’organisation derrière ChatGPT, n’a pas utilisé de données spécifiques, telles que des journaux médicaux, des données financières ou d’autres types d’informations confidentielles pour entraîner le modèle.
Le processus d’entraînement comporte deux étapes principales. Premièrement, une phase de “pré-entraînement” où le modèle apprend à prédire la prochaine phrase d’un texte à partir de vastes ensembles de données. À ce stade, le modèle apprend des structures de phrases, de la grammaire, des faits sur le monde, etc.
La deuxième étape est le “réglage fin”. Ici, le modèle est affiné sur une base de données plus petite, soigneusement générale et supervisée par des humains pour réagir de manière appropriée et sûre à une variété de mises en situation. Les superviseurs suivent des directives fournies par OpenAI qui n’incluent pas de préférence politique.
Cependant, bien que de nombreuses précautions soient prises pour éliminer les préjugés, le système peut encore parfois produire des réponses qui reflètent un parti pris en raison des données initiales sur lesquelles il a été formé. OpenAI s’engage à améliorer constamment ces problèmes à mesure que ces cas sont identifiés.
