I parametri di riferimento standard per gli LLM (Large Language Models) includono una vasta gamma di metriche e considerazioni che vengono utilizzate per valutare le performance, l’efficacia, e l’efficienza di questi modelli. Di seguito esploreremo alcuni dei parametri chiave, fornendo esempi e fonti riconosciute per una comprensione completa dell’argomento.
1. Perplexity (Perplessità):
La perplessità è una misura della capacità di un modello di prevedere una sequenza di parole. Si calcola come l’esponenziale della media negativa del logaritmo della probabilità delle parole nella sequenza. Un valore di perplessità più basso indica che il modello è migliore nel prevedere parole successive.
- Esempio: Se un modello ha una perplessità di 10, significa che, in media, il modello è incerto tra 10 possibili parole in ogni punto di previsione.
1. BLEU (Bilingual Evaluation Understudy):
BLEU è una metrica principalmente utilizzata per valutare le performance dei modelli di traduzione automatica, confrontando l’output del modello con una o più versioni di riferimento.
- Esempio: Un punteggio BLEU di 0.8 indica che l’output del modello è molto simile alla traduzione di riferimento.
1. ROUGE (Recall-Oriented Understudy for Gisting Evaluation):
ROUGE è un insieme di metriche utilizzate per valutare la qualità dei riassunti testuali prodotti dai modelli NLP. Include metriche come ROUGE-N, ROUGE-L, e ROUGE-W, che considerano diverse forme di corrispondenza tra il testo generato e il testo di riferimento.
- Esempio: Un punteggio ROUGE-1 di 0.5 indica che metà delle parole uniche nelle frasi di riferimento appare anche nel riassunto generato.
1. F1 Score:
Questa metrica combina precisione e richiamo into a single punteggio, fornendo un’indicazione bilanciata della performance di un modello di classificazione.
- Esempio: Un F1 score di 0.9 suggerisce che il modello ha sia una precisione che un richiamo elevati.
1. Exact Match (EM):
Specificamente rilevante negli strumenti di Question Answering, l’Exact Match misura la percentuale di risposte esattamente corrette rispetto alla risposta di riferimento.
- Esempio: Un Exact Match score del 70% indica che il modello fornisce la risposta esatta il 70% delle volte.
- Bias e Fairness: I modelli LLM devono essere valutati anche per eventuali bias impliciti nelle risposte generate. La presenza di bias può compromettere l’accuratezza e utilizzare metriche dedicate come disparity impact ratio può essere utile.
Fonte: Mehrabi, Ninareh, et al. “A Survey on Bias and Fairness in Machine Learning.” ACM Computing Surveys (CSUR) 54.6 (2021).- Efficienza Computazionale: La valutazione delle risorse computazionali necessarie in termini di tempo, memoria, e consumo energetico è cruciale per applicazioni pratiche. Modelli come OpenAI GPT-3 e BERT di Google richiedono ingenti risorse.
Fonte: Devlin, Jacob, et al. “BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding.” arXiv preprint arXiv:1810.04805 (2018).
La valutazione degli LLM si basa su una combinazione di metriche di performance come la perplessità, BLEU, ROUGE, F1 score, e Exact Match, nonché su considerazioni di bias e efficienza computazionale. Questi parametri permettono agli sviluppatori e ricercatori di confrontare e migliorare continuamente i modelli di linguaggio, garantendo applicazioni più efficaci e affidabili.
Fonti Utilizzate:
1. Brown, Tom B., et al. “Language Models are Few-Shot Learners.” arXiv preprint arXiv:2005.14165 (2020).
2. Papineni, Kishore, et al. “BLEU: a method for automatic evaluation of machine translation.” Association for Computational Linguistics (2002).
3. Lin, Chin-Yew. “ROUGE: A package for automatic evaluation of summaries.” Text Summarization Branches Out (2004).
4. Brachman, Ronald J., and Hector J. Levesque. Knowledge representation and reasoning. Morgan Kaufmann, 2004.
5. Rajpurkar, Pranav, et al. “SQuAD: 100,000+ Questions for Machine Comprehension of Text.” arXiv preprint arXiv:1606.05250 (2016).
6. Mehrabi, Ninareh, et al. “A Survey on Bias and Fairness in Machine Learning.” ACM Computing Surveys (CSUR) 54.6 (2021).
7. Devlin, Jacob, et al. “BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding.” arXiv preprint arXiv:1810.04805 (2018).
