Explication détaillée
Passer un modèle de 16 ou 32 bits à 8, 4 ou même 2 bits diminue fortement la mémoire et accélère l'inférence, au prix d'une légère perte de qualité. Indispensable pour faire tourner de gros LLM sur GPU grand public ou en local.
Exemples
Llama 70B quantizé en 4 bits sur un Mac M3
Modèles GGUF pour llama.cpp
Inference edge sur mobile
Questions fréquentes
Y a-t-il une perte de qualité ?
Oui mais souvent marginale en 8 bits et acceptable en 4 bits pour la plupart des usages.
Termes associés
Distillation
Procédé qui entraîne un petit modèle "élève" à imiter un gros modèle "professeur" pour conserver la qualité à moindre coût.
Fine-tuning
Réentraînement d'un modèle pré-existant sur un jeu de données spécifique pour l'adapter à un domaine.
LLM (Large Language Model)
Modèle de langage entraîné sur d'immenses corpus de texte pour comprendre et générer du langage naturel.
Deep Learning
Sous-domaine du machine learning utilisant des réseaux de neurones profonds pour apprendre des représentations complexes.
Dernière mise à jour : 15/07/2026