ChatGPT basiert auf der GPT (Generative Pretrained Transformer) Architektur, die von OpenAI entwickelt wurde. Es handelt sich um einen Transformer-basierten Modelltyp, der darauf abzielt, die menschliche Sprache so früh wie möglich zu verstehen und zu generieren.
Die Architektur von GPT besteht aus mehreren Schichten von Transformatoren, die dazu dienen, Kontext aus den Daten zu extrahieren, die in sie eingespeist werden. Im Fall von ChatGPT werden Dialogsätze in das Modell eingespeist. Jeder Transformer besteht aus einer selbst- aufmerksamkeitschicht und einer positionell feed-forward neuronalen Netzwerkschicht.
Die GPT-Architektur verwendet eine große Anzahl von Verarbeitungseinheiten, um den Kontext aus den Eingabesätzen zu extrahieren. Es kann vorkommen, dass Wörter in verschiedenen Teilen des Satzes in verschiedenen Kontexten verwendet werden, daher analysiert und versteht das GPT-Modell den Kontext jedes Wortes in Bezug auf jedes andere Wort im Satz.
Das Training von ChatGPT erfolgt in zwei Schritten: Pretraining und Fine-Tuning. Im Pretraining lernt das Modell, Text zu generieren, indem es große Mengen an Internettext vorhersagt. Das Fine-Tuning erfolgt auf spezifischen Aufgaben mit menschlichen Prüfern, die das Modell trainieren und Richtlinien darüber geben, wie es antworten soll.
