ChatGPT es una variante de la arquitectura de modelo de lenguaje GPT (Generative Pretrained Transformer). Específicamente, es un modelo de Transformer basado en decodificadores. Esta arquitectura utiliza mecanismos de atención para ponderar las diferentes palabras en el contexto de entrada cuando genera una respuesta. Está entrenado con un objetivo de máxima verosimilitud en un gran corpus de texto y utiliza técnicas de ajuste fino específicas para el dominio en conjuntos de datos de conversación para mejorar la calidad y la relevancia de sus respuestas.
