ChatGPT è stato formato attraverso un processo di apprendimento automatico in due fasi: pre-formazione e affinamento.
Durante la pre-formazione, ChatGPT viene addestrato su un ampio insieme di dati dai libri e dall’internet per apprendere i modelli del linguaggio, la grammatica e i fatti di base sul mondo.
Dopo la pre-formazione, il sistema viene ulteriormente addestrato con un insieme di dati più raffinato, generato con l’aiuto di revisori umani. Questa seconda fase, nota come “affinamento”, prevede che i revisori umani revisionino e valutino le risposte generative del modello in una serie di conversazioni. L’intelligenza artificiale apprende quindi da queste valutazioni.
ChatGPT è un modello di linguaggio molto grande con 175 miliardi di parametri ed è l’output di un continuo processo di apprendimento e miglioramento che coinvolge sia le interazioni con gli utenti finali sia il lavoro con i revisori umani.
