¿Por qué un modelo puede obtener una puntuación excelente y aun así no ser útil?
Un modelo puede obtener una puntuación excelente y aun así no servir de nada si se evalúa con los mismos datos con los que aprendió, porque puede haber memorizado esos ejemplos en lugar de aprender algo que pueda aplicar a nuevos clientes.
Imagine una empresa ficticia de suscripción a kits de comida con 120 personas, Pantrybox. Un analista, Kofi, crea un modelo para predecir qué suscriptores cancelarán el próximo mes, de modo que el equipo de retención pueda llamarlos primero. Su informe para la responsable de clientes, Sian, dice: 'Modelo A: ¡¡99% de exactitud!! Utiliza 85 columnas, incluidos el identificador del cliente, el código postal y la fecha de cada pedido anterior. Modelo B (simple, 2 columnas): 69% en entrenamiento, 68% en prueba. Modelo A con los datos nuevos del mes pasado: 71%. Alrededor del 30% de los clientes cancelan cada mes.' Sian quiere saber qué modelo utilizar y por qué el del 99% obtuvo tan malos resultados el mes pasado.
| Modelo | Exactitud en el entrenamiento | Precisión en las pruebas | Qué sugiere |
|---|---|---|---|
| Modelo A, 85 columnas | 99% | 71% | Sobreajuste: memorización de los clientes de entrenamiento |
| Modelo B, 2 columnas | 69% | 68% | Subajuste: apenas supera la estrategia de responder siempre 'se queda' |
¿Cómo se diagnostican el sobreajuste y el subajuste paso a paso?
Diagnostique ambos problemas comparando el rendimiento con los datos de entrenamiento y con datos que el modelo nunca ha visto, y comparando ambos resultados con una referencia sencilla. El patrón de esas tres cifras le indica cuál es el problema.
1. Reserve parte de los datos
Antes del entrenamiento, reserve un conjunto de datos de prueba que el modelo nunca vea. Evaluar un modelo con los datos de los que aprendió es un error básico, porque un modelo que se limita a repetir lo que ha visto obtiene una puntuación perfecta y no predice nada.
2. Establezca un punto de referencia
Calcule qué puntuación obtendría una regla muy simple. En Pantrybox, alrededor del 70% de los clientes permanece cada mes, por lo que predecir 'permanece' para todos obtiene una puntuación de alrededor del 70%. Un modelo útil debe superar ese resultado claramente.
3. Compare el entrenamiento y la prueba
Una puntuación de entrenamiento alta con una puntuación de prueba mucho más baja indica sobreajuste. Las puntuaciones bajas en ambas, cercanas al valor de referencia, indican subajuste. Las puntuaciones buenas y similares en ambas sugieren un ajuste razonable.
4. Compruebe la estabilidad
La validación cruzada entrena y evalúa el modelo varias veces con distintas partes de los datos de entrenamiento y calcula el promedio de los resultados. Si las puntuaciones varían mucho entre unas partes y otras, el modelo es poco robusto.
5. Elija una solución adecuada para el problema
El sobreajuste y el subajuste requieren soluciones opuestas, así que identifique el problema antes de cambiar nada.
¿Cómo se corrigen el sobreajuste y el subajuste?
Corrija el sobreajuste simplificando el modelo o haciendo que sus datos sean más representativos, y corrija el subajuste proporcionando al modelo información más útil o mayor flexibilidad. En palabras sencillas:
Para el sobreajuste
Elimine las columnas que identifican a personas en lugar de describir su comportamiento, como el identificador de cliente; use datos de entrenamiento que representen a los clientes que realmente va a evaluar; dé preferencia a un modelo más sencillo; y aplique regularización, que penaliza la complejidad durante el entrenamiento para que el modelo favorezca patrones más sencillos.
Para el subajuste
Añada variables que puedan estar relacionadas con la cancelación, como entregas omitidas, quejas recientes o un cambio de precio; permita un modelo más flexible; y compruebe que los datos no tengan tanto ruido ni estén tan mal etiquetados que ningún modelo pueda aprender de ellos.
Para ambos
Mantenga el conjunto de prueba intacto hasta el final. Si ajusta el modelo repetidamente con ese conjunto, se filtra información al modelo y la puntuación de la prueba deja de ser una estimación fiable.
¿Cómo se comparan una decisión deficiente y una mejorada sobre un modelo de predicción de abandono de clientes?
La decisión poco fundamentada elige el modelo A porque 99% es la cifra más alta de la diapositiva. En la práctica, apenas mejora una elección al azar, y el equipo de retención pierde tiempo llamando a clientes que nunca iban a irse.
La decisión mejorada dice: 'El modelo A memorizó a clientes individuales: incluye el identificador del cliente y las fechas exactas de los pedidos, por lo que reconoció a personas que ya había visto en vez de aprender por qué cancelan. El modelo B es demasiado simple para superar el valor de referencia del 70%. Siguiente paso: el modelo C utiliza seis variables de comportamiento, entre ellas las entregas omitidas en el último mes, las solicitudes de soporte y las semanas desde el último cambio de menú, y excluye el identificador del cliente y el código postal. Objetivo: obtener una puntuación de prueba claramente superior al 70% y a pocos puntos de la puntuación de entrenamiento, comprobada mediante validación cruzada de cinco particiones, antes de que el equipo de retención se base en él.' Ahora Sian sabe por qué falló el modelo del 99% y cómo sería un resultado adecuado.
¿Cómo se comprueba que un modelo no presenta sobreajuste ni subajuste?
Compruebe un modelo confirmando que su puntuación en las pruebas sea cercana a la de entrenamiento, claramente superior a la de referencia y estable tanto entre las particiones de validación cruzada como en un nuevo mes de datos. Pregunte también si alguna variable solo se conocería después del resultado, como el motivo de una cancelación; eso es una fuga de información y hace que ambas puntuaciones presenten el modelo como mejor de lo que realmente es.
¿Cuáles son los errores habituales con el sobreajuste y el subajuste?
El error más común es presentar la precisión del entrenamiento como si fuera la precisión en situaciones reales. Otros: ignorar el valor de referencia, de modo que un 70% parece impresionante cuando es lo que se consigue adivinando; añadir todas las columnas disponibles con la esperanza de obtener una puntuación mayor; consultar el conjunto de prueba durante el ajuste; y tratar el sobreajuste como un motivo para añadir complejidad, cuando normalmente requiere lo contrario.
¿Dónde se sitúa esta lección en Tosheo.ai?
Esta lección pertenece a la categoría de aprendizaje automático y sigue a la introducción a los modelos del curso de aprendizaje automático. En Tosheo.ai, la tarea práctica le presenta un informe ficticio sobre un modelo para que detecte los problemas, y los comentarios basados en la guía de evaluación comprueban que haya comparado los resultados de entrenamiento, prueba y referencia antes de recomendar una solución. Ofrece una base profesional para colaborar con equipos de datos; el itinerario opcional de programación aborda el entrenamiento y la evaluación de modelos mediante código.
Fuentes y alcance
Curso intensivo de aprendizaje automático de Google: sobreajuste (consultado el 19 October 2026) ↗
Guía de usuario de scikit-learn: validación cruzada (consultada el 19 October 2026) ↗