ChatGPT is gebaseerd op de GPT (Generative Pretrained Transformer) architectuur, specifiek de GPT-3 model versie met 175 miljard parameters. In deze architectuur worden tekstuele gegevens van het internet gebruikt om een taalmodel te trainen dat menselijke tekst begrijpt en genereert.
Deze architectuur is gebaseerd op een transformer-netwerk dat de aandachtmechanismen gebruikt om de context van elke woord in de input-gegevens te begrijpen en om de output te genereren. Het model neemt een reeks woorden als input en voorspelt vervolgens het volgende meest waarschijnlijke woord, en doet dit herhaaldelijk totdat het een eindteken produceert of een bepaalde lengte is bereikt.
De praktische toepassingen van dit model zijn onder andere het beantwoorden van vragen, het schrijven van essays of verhalen, het maken van samenvattingen en vele anderen.
