Explicación detallada
La destilación transfiere el conocimiento de un modelo voluminoso a un modelo más compacto. El alumno se entrena con las salidas (logits, respuestas) del profesor. Resultado: modelos más rápidos, más económicos de servir, perfectos para la producción.
Ejemplos
DistilBERT derivado de BERT
Pequeños modelos 'Instruct' derivados de GPT-4
Modelos open-source destilados a partir de modelos propietarios
Preguntas frecuentes
¿Destilación o fine-tuning?
Destilación = transferir del grande al pequeño. Fine-tuning = adaptar un modelo a una tarea o a datos específicos. Ambos se pueden combinar.
Términos relacionados
Aprendizaje profundo
Subcampo del aprendizaje automático que utiliza redes neuronales profundas para aprender representaciones complejas.
Fine-tuning
Reentrenamiento de un modelo preexistente con un conjunto de datos específico para adaptarlo a un dominio.
LLM (Large Language Model)
Modelo de lenguaje entrenado con inmensos corpus de texto para comprender y generar lenguaje natural.
Quantization
Técnica que reduce la precisión numérica de los pesos de un modelo para hacerlo más ligero y más rápido.
Última actualización: 15/7/2026