Explicación detallada
Pasar un modelo de 16 o 32 bits a 8, 4 o incluso 2 bits reduce drásticamente la memoria y acelera la inferencia, a costa de una ligera pérdida de calidad. Indispensable para ejecutar grandes LLM en GPUs de consumo o en local.
Ejemplos
Llama 70B cuantizado en 4 bits en un Mac M3
Modelos GGUF para llama.cpp
Inferencia en el edge en dispositivos móviles
Preguntas frecuentes
¿Hay pérdida de calidad ?
Sí, pero suele ser marginal en 8 bits y aceptable en 4 bits para la mayoría de los usos.
Términos relacionados
Destilación
Procedimiento que entrena a un pequeño modelo "alumno" para imitar a un gran modelo "profesor" y conservar la calidad a menor coste.
Fine-tuning
Reentrenamiento de un modelo preexistente con un conjunto de datos específico para adaptarlo a un dominio.
LLM (Large Language Model)
Modelo de lenguaje entrenado con inmensos corpus de texto para comprender y generar lenguaje natural.
Aprendizaje profundo
Subcampo del aprendizaje automático que utiliza redes neuronales profundas para aprender representaciones complejas.
Última actualización: 15/7/2026