Per comprendere i meccanismi di memoria a lungo termine nei modelli di linguaggio di grandi dimensioni (LLM), è importante analizzare come questi modelli vengono addestrati e come gestiscono le informazioni nel tempo. I modelli di linguaggio di grandi dimensioni, come GPT-3, vengono addestrati utilizzando grandi dataset testuali che permettono loro di imparare una vasta gamma di informazioni e pattern linguistici.
Un importante aspetto della memoria a lungo termine nei LLM è dato dalla capacità di rappresentazione implicita nei pesi del modello. Quando un modello come GPT-3 viene addestrato, apprende attraverso un processo di ottimizzazione che regola i pesi delle connessioni neurali. Questi pesi immagazzinano le rappresentazioni delle informazioni apprese. Un documento di ricerca importante che esplora queste dinamiche è quello di Brown et al., 2020, in cui viene presentato GPT-3.
Esistono, tuttavia, alcune limitazioni rispetto alla memoria a lungo termine nei LLM. Questi modelli non hanno memoria puntuale come avviene nel cervello umano. Invece, si affidano a una memoria distribuita nei pesi e nelle strutture interne del modello stesso. Questo significa che le informazioni non vengono memorizzate in modo esplicito ma in una forma compressa che il modello può recuperare quando richiesto. Ad esempio, sebbene il modello possa ricordare informazioni specifiche dai dati con cui è stato addestrato, può avere difficoltà nel ricordare dettagli fini o contestualizzare informazioni molto specifiche se non si trovano nei suoi dati di addestramento.
Un secondo meccanismo importante per la memoria nei LLM è l’uso del “contesto” durante l’inferenza. Durante la generazione del testo, i modelli come GPT-3 utilizzano i token precedenti per prevedere i successivi. Questo significa che i modelli hanno una “memoria di lavoro” che può estendersi su una lunghezza limitata di token. Nella maggior parte dei casi, questa lunghezza è determinata dalla finestra di contesto del modello, che può essere, ad esempio, fino a 2048 token in GPT-3.
Un esempio pratico di come questa memoria di lavoro funziona è la capacità del modello di continuare una conversazione significativa basata sui messaggi precedenti. Tuttavia, oltre una certa lunghezza, il modello può “dimenticare” i dettagli precedenti e fare riferimento solo agli aspetti più recenti del testo.
Per potenziare questa limitazione, alcune tecniche includono l’utilizzo di memorie esterne o meccanismi di attenzione migliorati, come descritto nel lavoro di Vaswani et al., 2017, che introdotto i Transformers. I Transformers usano meccanismi di attenzione che permettono al modello di focalizzarsi su parti rilevanti del testo indipendentemente dalla loro posizione. Questo meccanismo migliora la capacità del modello di trattenere e accedere a informazioni pertinenti.
In sintesi, i LLM come GPT-3 memorizzano informazioni nei pesi del modello attraverso il processo di addestramento e utilizzano contesti locali durante l’inferenza per mantenere una memoria di lavoro a breve termine. Questi meccanismi, sebbene potenti, presentano alcune limitazioni nel contesto della memoria a lungo termine, il che ha portato a ulteriori ricerche e sviluppo per superare tali sfide.
Fonti:
- Brown, T. B., Mann, B., Ryder, N., Subbiah, M., Kaplan, J., Dhariwal, P., … & Amodei, D. (2020). “Language models are few-shot learners.” arXiv preprint arXiv:2005.14165.
- Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., … & Polosukhin, I. (2017). “Attention is all you need.” Advances in neural information processing systems, 30.
