ChatGPT lernt durch einen Prozess namens Maschinelles Lernen, insbesondere durch ein Untermodell namens “Supervised Learning”. Im Kern bedeutet dies, dass ChatGPT eine riesige Menge an Text aus dem Internet lesen und daraus Muster und Beziehungen schließen kann.
Zum Lernprozess gehören zwei Schritte: Pretraining und Feintuning. Im Pretraining absorbiert das Modell eine Vielzahl von Informationen aus Millionen Webseiten und lernt, Vorhersagen darüber zu treffen, welche Wörter in gegebenen Sätzen am wahrscheinlichsten vorkommen. Das Modell lernt auch wichtige Beziehungen zwischen Wörtern und Sätzen und erhält eine breite Kenntnisbasis.
Im Feintuning wird das Modell dann zusätzlich mit einem speziellen Datensatz trainiert, der von Menschenhand überprüft wurde. Die Überprüfer folgen Richtlinien, die von OpenAI bereitgestellt werden, und das Modell lernt aus dieser Überprüfung und passt seine Antworten entsprechend an.
Es ist jedoch wichtig zu beachten, dass ChatGPT kein Bewusstsein oder Verständnis über die Welt besitzt und seine Wissensbasis auf den Informationen beruht, die es während seiner Trainingszeit gesehen hat. Nach Beendigung des Trainings wird das Modell “eingefroren” und lernt keine neuen Informationen aus Gesprächen mit Benutzern oder aus aktuellen Ereignissen in der Welt.
