OpenAI, l’organizzazione dietro ChatGPT, non ha rilasciato dati specifici sulla potenza di calcolo necessaria per eseguire il modello a tempo di esecuzione. Tuttavia, il training di modelli come GPT-3, su cui è basato ChatGPT, può richiedere un’enorme potenza di calcolo con centinaia di GPU utilizzate per diverse settimane.
Tuttavia, dopo che il modello è stato allenato, la potenza di calcolo richiesta per effettuare inferenze o generare risposte è significativamente minore. Il modello allenato può generalmente essere eseguito su una singola GPU consumer o persino su una CPU, a seconda dei tempi di risposta richiesti. OpenAI gestisce l’infrastruttura necessaria per eseguire ChatGPT come servizio API cloud, il che implica che gli utenti finali o gli sviluppatori non hanno bisogno di una potenza computazionale significativa per utilizzare il modello.
