Le tecniche per ridurre le dimensioni di un modello senza perdita di prestazioni sono diverse e possono essere suddivise in varie categorie. Queste tecniche sono fondamentali nel campo dell’apprendimento automatico e del deep learning, specialmente quando si desidera implementare modelli su dispositivi con risorse limitate come smartphone, dispositivi IoT, o in ambito embedded.
1. Quantizzazione dei pesi: La quantizzazione è una tecnica che consiste nel ridurre la precisione dei pesi del modello. Ad esempio, invece di usare 32 bit in virgola mobile (float32), si possono usare 16 bit in virgola mobile (float16) o anche 8 bit interi. Google, ad esempio, ha mostrato che la quantizzazione a 8 bit della rete neurale può mantenere le prestazioni quasi inalterate (Jacob et al., 2018).
Esempio: Se un modello di rete neurale ha 100 milioni di pesi, ogni peso rappresentato con 32 bit occupa circa 400 MB. Riducendo la rappresentazione a 8 bit, la stessa rete occuperebbe solo 100 MB, con una compressione significativa.1. Pruning (Potatura): La tecnica di pruning riguarda l’eliminazione dei pesi meno importanti (vicini allo zero). Questa tecnica non solo riduce la dimensione del modello, ma può anche accelerare il processo di inferenza.
Esempio: Una volta che il modello è addestrato, si può analizzare l’importanza dei pesi e rimuovere quelli né cruciali né particolarmente rilevanti. Questo può ridurre il numero di parametri e rendere il modello più efficiente.1. Distillazione del Modello: La distillazione implica l’uso di un modello di grandi dimensioni (teacher) per addestrare uno più piccolo (student). Il modello più piccolo apprende dai soft target forniti dal modello più grande, mantenendo così gran parte delle sue prestazioni.
Esempio: Un modello “teacher” complesso come BERT può essere usato per addestrare un modello più piccolo come DistilBERT, che ha il 60% dei parametri del modello originale ma mantiene quasi il 97% delle sue prestazioni (Sanh et al., 2019).1. Compressione tramite decomposizione matriciale: Le matrici di pesi possono essere decomposte in matrici più piccole, usando tecniche come la decomposizione a valori singolari (SVD). Questo permette di approssimare i pesi originali del modello con una precisione inferiore ma sufficiente per mantenere le prestazioni.
Esempio: La decomposizione SVD può essere applicata ai pesi delle reti convoluzionali, riducendo di molto il numero di operazioni necessarie durante il processo di inferenza.1. Tecniche di Co-design hardware-software: Alcune tecniche prevedono modifiche sia al livello hardware che software, ottimizzando l’architettura del modello in modo che utilizzi meno risorse senza sacrificare le prestazioni. Intel e Nvidia stanno lavorando su chip specificamente progettati per l’esecuzione di modelli di deep learning ottimizzati.
Esempio: Gli acceleratori hardware come TPU di Google sono ottimizzati per eseguire inferenze di modelli compressi ed efficienza energetica, mantenendo elevate le prestazioni.Fonti:
1. Jacob, B., Kligys, S., Chen, B., Zhu, M., Tang, M., Howard, A., … & Adam, H. (2018). Quantization and Training of Neural Networks for Efficient Integer-Arithmetic-Only Inference. CVPR 2018.
2. Sanh, V., Debut, L., Chaumond, J., & Wolf, T. (2019). DistilBERT, a distilled version of BERT: smaller, faster, cheaper and lighter. arXiv preprint arXiv:1910.01108.
Queste tecniche, comunemente utilizzate, permettono di mantenere o addirittura migliorare le prestazioni dei modelli, rendendo possibile la loro esecuzione in ambienti con risorse limitate.
