I modelli di linguaggio di grandi dimensioni (LLM) come GPT-3 e GPT-4 gestiscono la conoscenza implicita ed esplicita in modi diversi e complessi. Per comprendere appieno questo meccanismo, è utile definire prima cosa si intenda per conoscenza implicita ed esplicita.
La conoscenza esplicita è l’informazione che è stata codificata in un formato strutturato, facilmente accessibile e condivisibile. Esempi di conoscenza esplicita includono libri, articoli scientifici, database e documenti ufficiali. È conoscenza che può essere espressa chiaramente e direttamente.
La conoscenza implicita, d’altra parte, è l’informazione che non è stata formalmente documentata ma è stata acquisita attraverso l’esperienza, l’intuizione o l’apprendimento non strutturato. Questa può includere competenze professionali, intuizioni, esperienze personali e altre forme di sapere che non sono facilmente condivisibili o codificabili.
I LLM, essendo addestrati su enormi quantità di testo provenienti da una vasta gamma di fonti, hanno accesso a una grande quantità di conoscenza esplicita. Durante l’addestramento, il modello impara a riconoscere e strutturare l’informazione basata su pattern ricorrenti nel testo. Ad esempio, se un modello è stato addestrato su articoli di Wikipedia, articoli scientifici e libri, avrà una comprensione ampia e dettagliata della conoscenza esplicita contenuta in questi documenti.
Il processo di addestramento utilizza tecniche di intelligenza artificiale come il learning transfer e il fine-tuning. Ciò significa che il modello non solo impara dalle informazioni presenti nel suo set di dati ma può anche essere specializzato su argomenti specifici per aumentare la sua competenza in aree particolari. Documenti ben strutturati e formattati sono particolarmente utili in questo contesto, poiché forniscono informazioni facilmente codificabili.
La gestione della conoscenza implicita è più complicata perché non è formalmente documentata. Tuttavia, i LLM sono progettati per estrapolare e generalizzare conoscenze a partire dai dati testuali nei quali sono immersi. In questo modo, possono “apprendere” relazioni causali, intuizioni e tendenze che non sono state esplicitamente dichiarate, ma sono implicite nel testo.
Ad esempio, attraverso l’analisi di milioni di conversazioni, articoli di opinione e racconti, il modello può sviluppare una comprensione delle sfumature delle emozioni umane, delle convenzioni sociali e delle dinamiche culturali, anche se queste non sono state mai codificate formalmente.
Un caso pratico è il modo in cui un LLM può rispondere a domande complesse che richiedono non solo l’accesso a dati espliciti ma anche la comprensione di contesti e sfumature implicite. Se si chiede a un LLM di scrivere un pezzo in stile giornalistico su un evento recente, il modello utilizzerà la conoscenza esplicita sui fatti dell’evento e la conoscenza implicita su come dovrebbe essere strutturato un articolo di giornale, il tono appropriato e altre convenzioni non formalmente documentate.
1. Radford, A., et al. (2019). “Language Models are Unsupervised Multitask Learners.” OpenAI. Disponibile su: [OpenAI](https://cdn.openai.com/better-language-models/language_models_are_unsupervised_multitask_learners.pdf).
1. Brown, T., et al. (2020). “Language Models are Few-Shot Learners.” OpenAI. Disponibile su: [OpenAI](https://arxiv.org/abs/2005.14165).
1. Bengio, Y., et al. (2003). “A Neural Probabilistic Language Model.” Journal of Machine Learning Research. Disponibile su: [JMLR](https://www.jmlr.org/papers/volume3/bengio03a/bengio03a.pdf).
Queste fonti forniscono una solida base per comprendere come funzionano i modelli di linguaggio di grandi dimensioni e come gestiscono diverse forme di conoscenza.
