Pour évaluer la performance d’un grand modèle de langage (LLM), plusieurs aspects peuvent être pris en compte. Un modèle de langage, comme ceux de la famille GPT (Generative Pre-trained Transformer) ou BERT (Bidirectional Encoder Representations from Transformers), est jugé sur divers critères, incluant la précision, la fluidité générationnelle, la cohérence contextuelle et bien d’autres. Les méthodes d’évaluation sont nombreuses, nécessitant des outils et des benchmarks spécifiques.
1. Précision et exactitude :
La précision du modèle peut être évaluée par l’utilisation de divers benchmarks standardisés, tels que Stanford Question Answering Dataset (SQuAD) ou General Language Understanding Evaluation (GLUE). Ces benchmarks contiennent des ensembles de données qui permettent de tester rigoureusement la capacité du modèle à comprendre et générer des réponses précises.
Par exemple, SQuAD utilise des paragraphes tirés de Wikipedia auxquels sont associées des questions. Un modèle performant est censé extraire des réponses correctes à partir de ces paragraphes.
Sources : [Devlin, J., Chang, M.-W., Lee, K., & Toutanova, K. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. arXiv.](https://arxiv.org/abs/1810.04805)
2. Fluidité générationnelle :
La fluidité concerne la capacité du modèle à produire du texte qui semble naturel et humainement plausible. Pour évaluer cela, des mesures automatiques comme le score BLEU (Bilingual Evaluation Understudy) sont utilisées. Ce score compare les phrases générées par le modèle à des phrases de référence en termes de similarité syntaxique et lexicale.
Cependant, l’évaluation humaine est aussi souvent requise pour juger de la qualité et de la fluidité de la génération textuelle en contextes plus libres où les mesures automatiques peuvent être limitées.
Sources : [Papineni, K., Roukos, S., Ward, T., & Zhu, W.-J. (2002). BLEU: a method for automatic evaluation of machine translation. Proceedings of ACL.](https://www.aclweb.org/anthology/P02-1040/)
3. Cohérence et pertinence contextuelle :
Il est crucial que le modèle maintienne une cohérence dans ses réponses, surtout dans des dialogues ou de longs textes. Les tests d’évaluation ici incluent l’utilisation de corpus spécifiques de discussion ou de dialogues, tels que le Dialogue Natural Language Inference (DNLI) et le MultiWOZ (Multi-Domain Wizard of Oz). Ces ensembles de données aident à vérifier comment le modèle gère différentes intentions et contextes dans des interactions prolongées.
Sources : [Budzianowski, P., Wen, T.-H., Tseng, B.-H., Casanueva, I., Ultes, S., Ramadan, O., & Gašić, M. (2018). MultiWOZ – A Large-Scale Multi-Domain Wizard-of-Oz Dataset for Task-Oriented Dialogue Modelling. Proceedings of EMNLP.](https://arxiv.org/abs/1810.00278)
4. Robustesse et biais :
Un autre critère clé d’évaluation est la robustesse du modèle, c’est-à-dire sa capacité à gérer des inputs variés et parfois bruyants sans produire de sorties incorrectes ou nuisibles. Des tests de perturbations syntaxiques ainsi que des audits biaisés peuvent être effectués. Par exemple, le test de “bias benchmark” évalue comment le modèle répond à des prompts contenant des stéréotypes ou des préjugés.
Sources : [Bender, E. M., Gebru, T., McMillan-Major, A., & Shmitchell, S. (2021). On the Dangers of Stochastic Parrots: Can Language Models Be Too Big? Proceedings of FAccT.](https://dl.acm.org/doi/10.1145/3442188.3445922)
Ces diverses méthodes d’évaluation permettent de dresser un portrait complet de la performance d’un LLM, en prenant en compte à la fois des mesures quantitatives standardisées et des évaluations qualitatives plus subjectives mais tout aussi cruciales pour assurer l’efficacité et la sécurité des modèles de langage dans des applications pratiques.
