¿Cuál es el tamaño típico de los LLM en términos de parámetros?

El tamaño típico de los modelos de lenguaje grande (Large Language Models, LLM por sus siglas en inglés) en términos de parámetros ha ido creciendo rápidamente en los últimos años, con el objetivo de mejorar la capacidad del modelo para comprender y generar lenguaje natural. Los parámetros son básicamente los pesos ajustables que el modelo utiliza para realizar predicciones. A mayor cantidad de parámetros, mayor es la capacidad del modelo para capturar y representar patrones complejos en el lenguaje.

Empezamos con modelos relativamente pequeños comparados con los estándares actuales. Por ejemplo, GPT-2, creado por OpenAI y lanzado en 2019, tiene aproximadamente 1.5 mil millones de parámetros. Este modelo mostró capacidades significativas en generación de texto, lo que fue un salto cualitativo importante respecto a modelos anteriores.

Sin embargo, el verdadero cambio llegó con el lanzamiento de GPT-3, también de OpenAI, en 2020. Este modelo tiene la sorprendente cifra de 175 mil millones de parámetros. La diferencia en el rendimiento entre GPT-2 y GPT-3 es notable, ya que GPT-3 puede generar textos más coherentes y complejos, y tiene una mayor capacidad para seguir instrucciones y realizar tareas diversas sin apenas entrenamiento específico.

Además de los modelos de OpenAI, otros actores en el campo de la inteligencia artificial también han desarrollado LLMs con una cantidad impresionante de parámetros. Por ejemplo, Google desarrolló T5 (Text-to-Text Transfer Transformer) que tiene varias versiones, con la más grande llegando a 11 mil millones de parámetros.

Más recientemente, GPT-4 se ha lanzado con un número de parámetros que oficialmente no ha sido divulgado por OpenAI, pero especulaciones y filtraciones sugieren que podría ser significativamente más grande que GPT-3, posiblemente en el rango de centenas de miles de millones de parámetros.

Models de Facebook/Meta, como OPT (Open Pretrained Transformer), también han incursionado en la tendencia de aumentar la complejidad y tamaño de los LLMs. El modelo OPT-175B tiene, como su nombre indica, 175 mil millones de parámetros al igual que GPT-3, colocando a Meta en la competencia directa con OpenAI.

Ejemplos de Modelos y sus Tamaños

1. GPT-2: ~1.5 mil millones de parámetros
2. T5 Large (Google): ~11 mil millones de parámetros
3. GPT-3: ~175 mil millones de parámetros
4. OPT-175B (Meta): ~175 mil millones de parámetros
5. GPT-4: Se especula que tiene más de 180 mil millones de parámetros, aunque no hay cifras oficiales

Fuentes Utilizadas

1. Radford, A., et al. (2019). “Language Models are Unsupervised Multitask Learners”. OpenAI.
2. Brown, T., et al. (2020). “Language Models are Few-Shot Learners”. Neural Information Processing Systems (NeurIPS).
3. Raffel, C., et al. (2020). “Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer”. Journal of Machine Learning Research (JMLR).
4. Zhang, S., et al. (2022). “OPT: Open Pre-trained Transformer Language Models”. arXiv preprint arXiv:2205.01068.

Estos desarrollos en modelos de lenguaje grande no solo reflejan avances en técnicas de inteligencia artificial, sino también el incremento en los recursos de computación necesarios para entrenar, almacenar y operar estos modelos masivos.