ChatGPT werd getraind door een techniek genaamd Transformer, die een methode van machine learning is. Het leerproces bestond uit twee stappen: pre-training en fine-tuning.
Tijdens de pre-training leest het model een breed scala en grote hoeveelheid internetteksten. Let op, het model leert van de patronen in deze data, maar weet niet specifiek welke documenten het heeft gelezen en bezit geen enkele kennis van specifieke boeken, auteurs, bronnen, enz.
Vervolgens is er een fine-tuning proces waarbij mensen bij OpenAI het model trainen op een specifieker dataset, met specifieke instructies. Dit houdt onder andere in het beoordelen en genereren van antwoorden op verschillende situaties.
Zo heeft ChatGPT geleerd om menselijke taal en tekst te genereren. Het is belangrijk om te weten dat het model geen bewust begrip heeft van de tekst die het genereert; het voorspelt simpelweg wat de volgende woorden zouden moeten zijn op basis van de input die het krijgt.
