Explication détaillée
Introduit en 2017 par l'article "Attention Is All You Need", le Transformer remplace les architectures récurrentes par une attention qui pondère toutes les positions d'une séquence en parallèle. Il a permis l'essor des modèles GPT, BERT, Claude, Gemini et la plupart des LLM actuels.
Exemples
GPT-4, Claude, Gemini, Mistral
BERT pour la compréhension de texte
Vision Transformer (ViT) pour l'image
Questions fréquentes
Pourquoi est-ce révolutionnaire ?
L'attention permet l'entraînement parallèle massif et la modélisation de dépendances longues, ce qui débloque les très grands modèles.
Termes associés
Embedding
Représentation vectorielle d'un texte, d'une image ou d'un objet, capturant son sens dans un espace numérique.
LLM (Large Language Model)
Modèle de langage entraîné sur d'immenses corpus de texte pour comprendre et générer du langage naturel.
Deep Learning
Sous-domaine du machine learning utilisant des réseaux de neurones profonds pour apprendre des représentations complexes.
Réseau de neurones
Modèle inspiré du cerveau, composé de couches de neurones artificiels qui transforment progressivement les données.
Dernière mise à jour : 15/07/2026