Los modelos de lenguaje grande (LLM, por sus siglas en inglés, “Large Language Models”), como GPT-3 y otros basados en transformadores, abordan las dependencias a largo plazo en los textos mediante una arquitectura llamada “transformer”. Esta arquitectura fue introducida por Vaswani et al. en el artículo “Attention is All You Need” (2017), que ha sido fundamental para el avance en el procesamiento del lenguaje natural (NLP, por sus siglas en inglés).
El componente clave de los transformadores es el mecanismo de “atención”. A diferencia de las Redes Neuronales Recurrentes (RNN) y sus variantes como las LSTM, que procesan la secuencia palabra por palabra y pueden tener dificultades para mantener dependencias a largo plazo debido a la naturaleza secuencial de su diseño, los transformadores calculan la atención sobre todas las palabras de la secuencia en paralelo. Esto permite que el modelo preste atención a cualquier otra palabra en la secuencia, independientemente de la distancia entre ellas.
Por ejemplo, en la oración: “El gato que estaba en el tejado vio al perro en el jardín”, la palabra “gato” está relacionada con “vio” y “perro”, aunque estén separadas por varias palabras. El mecanismo de atención del transformador puede asociar “gato” con “vio” y “perro” sin dificultad, capturando así las dependencias a largo plazo.
Otro aspecto importante es el uso de múltiples capas de atención. Cada capa tiene la capacidad de capturar relaciones semánticas de diferentes niveles, desde asociaciones locales hasta dependencias globales. Además, dado que los transformadores no tienen una estructura secuencial inherente, utilizan vectores de codificación posicional (“positional encoding”) para incorporar la información sobre el orden de las palabras en la secuencia, algo que también es crucial para manejar dependencias a largo plazo.
Los LLM generalmente se entrenan en grandes volúmenes de texto antes de ser ajustados para tareas específicas. Durante esta fase de preentrenamiento, los modelos aprenden patrones y relaciones entre palabras y frases que abarcan largas distancias en los datos de entrenamiento. Este conocimiento general, acumulado durante el preentrenamiento, es crucial para capturar dependencias a largo plazo.
1. Traducción Automática: En traducción de idiomas, la estructura de una oración en un idioma puede ser muy diferente en otro. Los transformadores son capaces de mantener la coherencia y la estructura lógica a lo largo de toda la oración, incluso si las palabras dependen unas de otras a largas distancias.
2. Generación de Texto: Al generar texto coherente y cohesivo, los LLM pueden mantener el contexto y la lógica a lo largo de varios párrafos. Un modelo bien entrenado puede generar historias complejas, artículos de noticias, e incluso poesía, manteniendo la consistencia temática.
- Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., … & Polosukhin, I. (2017). Attention is All You Need. arXiv preprint arXiv:1706.03762.
- Devlin, J., Chang, M. W., Lee, K., & Toutanova, K. (2018). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. arXiv preprint arXiv:1810.04805.
Estas fuentes proporcionan una base sólida para entender cómo los LLM abordan las dependencias a largo plazo y constituyen una referencia confiable en el campo del procesamiento del lenguaje natural.
