Het aanpassen van de training van ChatGPT vereist enige kennis van machine learning, omdat het model gebruik maakt van technieken uit deze discipline. OpenAI heeft details over hun trainingsproces gepubliceerd, maar het is niet zo eenvoudig als het wijzigen van een paar regels code.
De training van ChatGPT gebeurt in twee stappen: pre-training en fine-tuning. Tijdens de pre-training leert het model een breed scala aan internettekst. Maar de specifieke documenten die het model gebruikt, worden niet door OpenAI bekendgemaakt. Dit betekent dat het model geen specifieke gegevens of documenten kan reproduceren en dat het alles wat het ‘weet’, is in feite een statistisch patroon uit de brede dataset.
Tijdens de fine-tuning leert het model aan de hand van gegevens die door mensen zijn gegenereerd. Dit proces maakt gebruik van zowel Reinforcement Learning from Human Feedback (RLHF) als een beoordelingsmodel dat door menselijke beoordelaars wordt gebruikt om de juiste antwoorden te kiezen.
Het aanpassen van het trainingsproces kan betrekken:
1. Het wijzigen van de brondata die wordt gebruikt voor pre-training.
2. Het wijzigen van het RLHF-proces en/of de criteria die menselijke beoordelaars gebruiken tijdens fine-tuning.
3. Het toevoegen van nieuwe gegevens voor zowel pre-training als fine-tuning.
Het is vermeldenswaard dat, hoewel technisch mogelijk, het aanbevolen wordt om voorzichtig te zijn bij het maken van aanpassingen. OpenAI maakt gebruik van uitgebreide moderatie- en veiligheidsmaatregelen om ervoor te zorgen dat ChatGPT ethisch en veilig is in zijn antwoorden. Het wijzigen van het trainingsproces kan onbedoelde en potentieel schadelijke gevolgen hebben als het niet op de juiste manier wordt gedaan.
