Explication détaillée
La distillation transfère les connaissances d'un modèle volumineux vers un modèle plus compact. L'élève est entraîné sur les sorties (logits, réponses) du professeur. Résultat : modèles plus rapides, moins chers à servir, parfaits pour la production.
Exemples
DistilBERT issu de BERT
Petits modèles 'Instruct' dérivés de GPT-4
Modèles open-source distillés à partir de modèles propriétaires
Questions fréquentes
Distillation ou fine-tuning ?
Distillation = transférer du gros vers le petit. Fine-tuning = adapter un modèle à une tâche/données spécifiques. Les deux se combinent.
Termes associés
Deep Learning
Sous-domaine du machine learning utilisant des réseaux de neurones profonds pour apprendre des représentations complexes.
Fine-tuning
Réentraînement d'un modèle pré-existant sur un jeu de données spécifique pour l'adapter à un domaine.
LLM (Large Language Model)
Modèle de langage entraîné sur d'immenses corpus de texte pour comprendre et générer du langage naturel.
Quantization
Technique qui réduit la précision numérique des poids d'un modèle pour le rendre plus léger et plus rapide.
Dernière mise à jour : 15/07/2026