ChatGPT è basato sull’architettura di modello Transformer in particolare su GPT-3, una versione avanzata di GPT-2 sviluppata da OpenAI. Utilizza un modello di rete neurale artificiale chiamato transformer, che impiega il meccanismo di attenzione per pesare l’importanza relativa di un input nel contesto di altri input. Questo modello, quindi, focalizza la sua “attenzione” su vari elementi di input a seconda di quanto siano pertinenti per il compito corrente.
ChatGPT viene addestrato con un metodo noto come Addestramento a due fasi di Reinforcement Learning from Human Feedback (RLHF). Durante la prima fase, viene addestrato a prevedere la prossima parola in una serie di conversazioni provenienti da una variante di un dataset pubblico e da conversazioni generate da umani. Durante la seconda fase, viene utilizzato l’apprendimento per rinforzo per ottimizzare il modello sulla base di feedback umani.
