Explicación detallada
Introducido en 2017 por el artículo "Attention Is All You Need", el Transformer reemplaza las arquitecturas recurrentes por una atención que pondera todas las posiciones de una secuencia en paralelo. Permitió el auge de modelos como GPT, BERT, Claude, Gemini y la mayoría de los LLM actuales.
Ejemplos
GPT-4, Claude, Gemini, Mistral
BERT para la comprensión de texto
Vision Transformer (ViT) para imágenes
Preguntas frecuentes
¿Por qué es revolucionario?
La atención permite el entrenamiento masivo en paralelo y el modelado de dependencias a largo plazo, lo que posibilita los modelos de muy gran tamaño.
Términos relacionados
Embedding
Representación vectorial de un texto, una imagen o un objeto, que captura su significado en un espacio numérico.
LLM (Large Language Model)
Modelo de lenguaje entrenado con inmensos corpus de texto para comprender y generar lenguaje natural.
Aprendizaje profundo
Subcampo del aprendizaje automático que utiliza redes neuronales profundas para aprender representaciones complejas.
Red neuronal
Modelo inspirado en el cerebro, compuesto por capas de neuronas artificiales que transforman progresivamente los datos.
Última actualización: 15/7/2026