Les modèles de langage de grande taille (LLMs) peuvent être extrêmement utiles pour des tâches intégrant à la fois de la vision et du langage. Ces tâches combinées incluent des activités telles que la description d’images, la génération d’images à partir de descriptions textuelles, la réponse à des questions visuelles ou encore l’interprétation de scènes complexes. Voici comment les LLMs peuvent être utilisés dans ce contexte, avec des exemples et des sources fiables pour appuyer ces informations.
1. Description d’images (Image Captioning)
Les LLMs peuvent être entraînés pour générer des descriptions textuelles d’images. Par exemple, le modèle Neural Image Caption de Google utilise une architecture de réseau neuronal convolutif pour extraire des caractéristiques visuelles et un modèle de langue récurrent (RNN) pour générer des descriptions textuelles. Une image d’un chat assis sur un canapé pourrait ainsi être décrite par le modèle comme “un chat blanc et noir est assis sur un canapé beige”.
Source :
- Vinyals, Oriol, et al. “Show and tell: A neural image caption generator.” Proceedings of the IEEE conference on computer vision and pattern recognition (2015).
2. Génération d’images à partir de descriptions textuelles
Un autre domaine où les LLMs et les modèles de vision artificielle coopèrent est la génération d’images à partir de descriptions textuelles. Par exemple, le modèle DALL-E d’OpenAI peut créer des images cohérentes et détaillées d’après des descriptions de texte comme “un avion en forme de pastèque”. Ce modèle combine des générateurs d’images basés sur des réseaux adversaires génératifs (GANs) avec des LLMs pour interpréter les instructions textuelles.
Source :
- Ramesh, Aditya, et al. “DALL· E: Creating images from text.” arXiv preprint (2021).
3. Réponses à des questions visuelles (Visual Question Answering – VQA)
Les LLMs peuvent aussi être utilisés pour répondre à des questions basées sur le contenu d’images, une tâche connue sous le nom de VQA. Le modèle VisualBERT, par exemple, associe des représentations de texte et d’image pour répondre à des questions comme “Quels animaux sont présents dans cette image ?”. En combinant des caractéristiques visuelles des images et des indices textuels, ce modèle peut fournir des réponses précises.
Source :
- Li, Liunian Harold, et al. “VisualBERT: A simple and performant baseline for vision and language.” arXiv preprint (2019).
4. Interprétation de scènes complexes
Les LLMs sont également utilisés pour interpréter des scènes complexes et multitâches, comme la détection d’objets, l’analyse des relations spatiales entre différents objets et la compréhension des interactions entre humains et objets. Le modèle ViLBERT (Vision-and-Language BERT) améliore cette tâche en fusionnant des représentations visuelles et textuelles pré-entraînées sur de grandes bases de données. Il peut par exemple analyser une image d’une cuisine et comprendre une phrase telle que “La femme met les pommes dans le panier” pour fournir des interprétations pertinentes.
Source :
- Lu, Jiasen, et al. “Vilbert: Pretraining task-agnostic visiolinguistic representations for vision-and-language tasks.” arXiv preprint (2019).
En résumé, les LLMs, lorsqu’ils sont associés à des modèles de vision artificielle innovants, montrent un potentiel énorme pour des tâches intégrant la vision et le langage. De la description d’images à la génération d’images et à l’interprétation de scènes complexes, ces technologies répondent à des besoins divers et ouvrent de nouvelles perspectives dans les domaines de l’intelligence artificielle et du traitement du langage naturel.
Références :
1. Vinyals, Oriol, et al. “Show and tell: A neural image caption generator.” Proceedings of the IEEE conference on computer vision and pattern recognition (2015).
2. Ramesh, Aditya, et al. “DALL· E: Creating images from text.” arXiv preprint (2021).
3. Li, Liunian Harold, et al. “VisualBERT: A simple and performant baseline for vision and language.” arXiv preprint (2019).
4. Lu, Jiasen, et al. “Vilbert: Pretraining task-agnostic visiolinguistic representations for vision-and-language tasks.” arXiv preprint (2019).
