Vergeten of het fenomeen van “catastrofaal vergeten” is een bekend probleem in machine learning, en vooral in het trainen van lange termijn geheugensystemen (LLM’s). Dit probleem treedt op wanneer een neuraal netwerk, dat voorheen getrainde informatie “vergeet” bij het leren van nieuwe informatie. Het resulteert vaak in een aanzienlijke daling van de prestaties van het model bij taken die eerder goed werden uitgevoerd. Dit probleem is specifiek relevant in de context van continute leren.
Een veelvoorkomende methode om catastrofaal vergeten te minimaliseren is het gebruik van replay-gebaseerde strategieën, waarbij voorbeelden uit vorige taken opnieuw worden gepresenteerd aan het model. Deze methode wordt vaak “experience replay” genoemd. Het idee is om een buffer van ervaringen (data samples) te behouden en deze periodiek te hergebruiken tijdens de training. Volgens een artikel getiteld “Continual Learning: A Comparative Study on How to Defend Against Catastrophic Forgetting” (De Lange et al., 2019) is experience replay effectief in het behouden van de prestaties van een netwerk op oudere taken.
Een andere benadering is “Elastic Weight Consolidation” (EWC), zoals voorgesteld door Kirkpatrick et al. (2017) in hun artikel “Overcoming catastrophic forgetting in neural networks”. In EWC worden de belangrijkste parameters voor eerdere taken geïdentificeerd en met hogere “elasticiteit” vastgezet, wat betekent dat ze minder snel aangepast worden tijdens het leren van nieuwe taken. Dit helpt om het model te stabiliseren en eerdere kennis te behouden.
Een andere effectieve methode is Progressive Neural Networks (Rusu et al., 2016). In plaats van een enkel model te hebben dat wordt aangepast voor elke nieuwe taak, voegt deze methode nieuwe subnetwerken toe voor elke nieuwe taak terwijl oudere subnetwerken ongemoeid worden gelaten. De nieuwe subnetwerken kunnen deelnemen aan het delen van kennis van oudere subnetwerken, zonder deze te overschrijven. Deze aanpak minimaliseert catastrofaal vergeten door de structurele scheiding van eerdere en nieuwe kennis.
Daarnaast kunnen ook “Regularization Techniques” worden gebruikt. Dit omvat methoden zoals Learning without Forgetting (LwF) voorgesteld door Li en Hoiem (2017). Hierin wordt gebruik gemaakt van zogenaamde “pseudo-labels” van oudere taken die zijn opgeslagen en gebruikt worden om de nieuwe taak te trainen, waardoor het systeem eerder geleerde informatie vasthoudt.
Voorbeelden van het succes van deze methoden zijn divers. Zo heeft Elastic Weight Consolidation zijn effectiviteit bewezen in NLP-toepassingen waarbij een model opnieuw wordt getraind voor verschillende taalbegripstaken zonder prestatiesverlies op de eerdere taken. Evenzo heeft experience replay bijgedragen aan het onderhoud van modelprestaties voor spraakherkenningstoepassingen waarbij het systeem moet worden getraind op nieuwe woorden of accenten zonder de oude te vergeten.
Referenties:
1. De Lange, M., Aljundi, R., Masana, M., Parisot, S., Jia, X., Leonardis, A., Slabaugh, G., & Tuytelaars, T. (2019). Continual learning: A comparative study on how to defend against catastrophic forgetting. arXiv preprint arXiv:1909.08383.
2. Kirkpatrick, J., Pascanu, R., Rabinowitz, N., Veness, J., Desjardins, G., Rusu, A. A., Milan, K., Quan, J., Ramalho, T., Grabska-Barwinska, A., et al. (2017). Overcoming catastrophic forgetting in neural networks. Proceedings of the National Academy of Sciences, 114(13), 3521-3526.
3. Rusu, A. A., Rabinowitz, N. C., Desjardins, G., Soyer, H., Kirkpatrick, J., Kavukcuoglu, K., Pascanu, R., & Hadsell, R. (2016). Progressive neural networks. arXiv preprint arXiv:1606.04671.
4. Li, Z., & Hoiem, D. (2017). Learning without forgetting. IEEE Transactions on Pattern Analysis and Machine Intelligence, 40(12), 2935-2947.
