A lo largo del módulo han ido apareciendo pistas: el árbol sin límite de profundidad que clavaba el 100 % en entrenamiento y se hundía en test (06-01), el return_train_score de cross_validate "para diagnosticar overfitting" (06-03), el AUC sospechosamente perfecto que invitaba a buscar fugas (06-04). Esta lección junta todas esas pistas en el diagnóstico central del Machine Learning: ¿mi modelo memoriza (overfitting) o no aprende lo suficiente (underfitting)? Aprenderemos a diagnosticarlo comparando el error de entrenamiento con el de validación, a entender el compromiso sesgo-varianza que hay detrás, y a usar dos herramientas gráficas — curvas de validación y curvas de aprendizaje — que responden a las dos preguntas prácticas por excelencia: ¿cuánta complejidad conviene? y ¿ayudarían más datos? Cerraremos el módulo con una checklist de evaluación honesta que resume todo lo aprendido.

1. Definiciones y analogía: memorizar el examen vs. no estudiar
2. Diagnóstico: error de entrenamiento frente a error de validación
3. El compromiso sesgo-varianza
4. Curvas de validación: ¿cuánta complejidad?
5. Curvas de aprendizaje: ¿ayudarían más datos?
6. Remedios del overfitting y del underfitting
7. Cierre del módulo: checklist de evaluación honesta

Volvamos a la analogía del examen de 06-01, ahora con tres estudiantes:

• El memorión se aprende de carrerilla las soluciones de los ejercicios del libro, coma por coma. En esos ejercicios saca un 10; en el examen (preguntas nuevas), suspende: nunca entendió los conceptos, solo los casos concretos, ruido incluido. Es el overfitting (sobreajuste): el modelo se ajusta tanto a los datos de entrenamiento que captura sus peculiaridades y su ruido, y pierde capacidad de generalizar.
• El que no estudió apenas hojeó el temario. Falla los ejercicios del libro y el examen por igual: no capturó ni siquiera los patrones básicos. Es el underfitting (infraajuste): el modelo es demasiado simple (o las features demasiado pobres) para la estructura real del problema.
• El que entendió la materia hace bien los ejercicios (sin clavarlos todos: no memorizó erratas) y el examen le sale parecido. Es el punto dulce: aprende el patrón, ignora el ruido.

En MercaFresh ya vimos a los tres: el árbol sin podar de 04-03 era el memorión (una hoja por cliente); una regresión logística sobre una única feature pobre sería el que no estudió; el árbol con max_depth=5 del torneo de 06-03 se acercaba al punto dulce.

El diagnóstico se hace con dos números, no uno: el error (o métrica) en entrenamiento y en validación. Los cuatro escenarios posibles:

Reglas de lectura:

• La brecha train − validación mide el sobreajuste: cuanto mayor, más está memorizando el modelo.
• El nivel del error de validación mide la calidad real. Un modelo puede tener brecha cero y ser pésimo (underfitting) o brecha enorme con validación decente (overfitting aprovechable, pero mejorable).
• El cuarto escenario no debería existir: si validación supera con claridad a entrenamiento, revisa el protocolo (¿fuga al revés?, ¿validación demasiado pequeña y con suerte?).

En código, es el return_train_score=True de 06-03:

Detrás de los dos fenómenos hay un compromiso fundamental. A nivel intuitivo, el error de un modelo en datos nuevos tiene dos componentes controlables:

• Sesgo (bias): error por suposiciones demasiado rígidas. Un modelo con alto sesgo (una recta para un fenómeno curvo) falla sistemáticamente igual, se entrene con los datos que se entrene. Es la firma del underfitting.
• Varianza: error por sensibilidad excesiva a los datos concretos de entrenamiento. Un modelo con alta varianza (un árbol profundísimo) cambia drásticamente si cambias unas pocas filas: aprende el ruido de esa muestra. Es la firma del overfitting. (De hecho, la desviación entre folds de 06-03 nos daba ya una medida empírica de esta sensibilidad.)

Al aumentar la complejidad del modelo, el sesgo baja (puede representar patrones más ricos) pero la varianza sube (tiene más libertad para perseguir el ruido). El error total dibuja una U:

Cada algoritmo del módulo 4 tiene sus mandos de complejidad: max_depth y compañía en árboles, el número de vecinos en K-NN (k pequeño = más varianza), el tamaño de las capas en el MLP, la C y el kernel en SVM... Encontrar el punto dulce de esos mandos es, precisamente, para lo que sirve el conjunto de validación de 06-01 — y lo que ahora vamos a visualizar.

La curva de validación dibuja la métrica en train y en validación en función de un hiperparámetro de complejidad. Con validation_curve sobre el max_depth del árbol de churn de 04-03:

Cómo se lee el gráfico resultante (el patrón es siempre el mismo):

• Zona izquierda (max_depth 1–3): ambas curvas bajas y juntas → underfitting; el árbol es demasiado simple hasta para el train.
• Zona derecha (max_depth > 8): el F1 de train sigue subiendo hacia 1.0 mientras el de validación baja → overfitting; cada nivel extra de profundidad memoriza ruido.
• El máximo de la curva de validación (típicamente por max_depth 4–6 en el churn) es el punto dulce: la complejidad justa. Es la "U" del sesgo-varianza, vista en datos reales.

Esto explica el resultado del ejercicio 3 de la lección 06-03 (3 corto, 10 pasado, 5 ganador). La curva de validación explora un hiperparámetro con los demás fijos; la exploración sistemática de varios a la vez es la optimización de hiperparámetros de 07-05.

La otra pregunta práctica: si MercaFresh invirtiera en recopilar más historial de clientes, ¿mejoraría el modelo? La curva de aprendizaje dibuja la métrica en train y validación en función del número de ejemplos de entrenamiento:

Interpretación según la forma de las curvas:

Es un gráfico valiosísimo para decidir inversiones: recopilar datos cuesta dinero y meses, y la curva de aprendizaje dice de antemano si servirá de algo.

Diagnóstico hecho; recetario:

• Más datos de entrenamiento — el remedio más fiable cuando la curva de aprendizaje muestra margen: con más ejemplos, el ruido individual pesa menos.
• Reducir la complejidad del modelo: menos profundidad en el árbol, más vecinos en K-NN, menos neuronas en el MLP, o directamente un algoritmo más simple. La curva de validación indica cuánto recortar.
• Menos features / mejores features: eliminar variables ruidosas o redundantes reduce las oportunidades de memorizar (PCA, de 05-03, puede ayudar como reducción previa).
• Regularización: penalizar los pesos grandes del modelo para forzarlo a soluciones más suaves. Es el remedio estrella en modelos lineales y redes, y tiene lección propia — Ridge, Lasso y Elastic Net en 07-01 —, así que aquí solo la dejamos apuntada.
• Early stopping (mencionado): en modelos que entrenan por iteraciones (MLP, y el gradient boosting de 07-03), detener el entrenamiento cuando el error de validación deja de mejorar, aunque el de train siga bajando.
• Ensembles: combinar muchos modelos de alta varianza promedia sus errores individuales (la varianza se cancela). Es la idea del Random Forest y compañía — 07-02.

• Aumentar la complejidad: más profundidad, más neuronas, un kernel no lineal en la SVM, un algoritmo más expresivo.
• Mejores features: a menudo el cuello de botella no es el modelo sino la información que recibe. La ingeniería de características de 03-06 (ratios, agregados RFM, interacciones) suele mover más la aguja que cualquier cambio de algoritmo.
• Menos regularización (si la hay) y, en modelos iterativos, entrenar más tiempo.
• Lo que no funciona: añadir más filas. Un modelo que no captura el patrón con 10.000 ejemplos tampoco lo hará con 100.000 — lo confirma la curva de aprendizaje convergida a nivel bajo.

Este módulo empezó con la pregunta que dejó abierta el módulo 5: "¿es bueno de verdad mi modelo?". Ya podemos responderla con método. La checklist, lección a lección:

1. División limpia (06-01): test apartado desde el principio y tocado una sola vez; stratify con clases desbalanceadas; división cronológica si hay tiempo; sin duplicados repartidos; ninguna feature que no existiera en el momento de predecir.
2. Métrica pactada de antemano (06-02): elegida con el negocio según los costes de FP y FN (recall para el churn de MercaFresh), nunca a posteriori; matriz de confusión siempre a la vista.
3. Baseline (06-02, retomando 01-04): DummyClassifier/DummyRegressor evaluados con la misma métrica; el modelo debe ganarles con claridad o no hay historia que contar.
4. Validación cruzada (06-03): media ± desviación, mismos folds para todos los candidatos, Pipeline dentro de la CV; diferencias entre modelos juzgadas con el escepticismo de 02-04.
5. Umbral operativo (06-04): elegido en validación según costes y capacidad, no heredado del 0.5; AUC para comparar, curva para decidir.
6. Diagnóstico train vs. validación (06-05): brecha vigilada, curva de validación para la complejidad, curva de aprendizaje antes de pedir más datos.
7. Escepticismo final: un resultado demasiado bueno (accuracy 99 %, AUC 0.99) se investiga como un bug — casi siempre lo es (fuga de datos).

Un modelo que pasa esta checklist tiene un rendimiento creíble. La siguiente frontera es hacerlo mejor, y de eso trata el módulo 7.

• Mirar solo el error de validación e ignorar el de train. Sin los dos números no hay diagnóstico: no sabrás si atacar el sesgo o la varianza, y los remedios son opuestos.
• Tratar todo mal resultado como overfitting. El underfitting es igual de frecuente y se cura con lo contrario (más complejidad, no menos). Diagnostica antes de medicar.
• Perseguir la brecha cero. Una brecha pequeña es normal y sana; un modelo con train = validación exactos suele estar infraajustado. Lo que se optimiza es el error de validación, no la brecha.
• Añadir datos sin mirar la curva de aprendizaje. Si las curvas ya convergieron, esos meses de recolección no moverán la métrica.
• Ajustar la complejidad mirando el test. Las curvas de validación se construyen con CV sobre el train; el test sigue en su caja fuerte hasta el final (06-01).
• Consejo: imprime siempre la pareja (métrica train, métrica validación) en cada experimento, desde el primer día. Es un hábito de una línea de código que detecta el 90 % de los problemas de modelado a la primera.

Diagnostica cada escenario (overfitting, underfitting, punto dulce o sospecha de bug) y propón la primera acción correctora:

• (a) K-NN con k=1 sobre el churn: F1 train = 0.99, F1 validación = 0.55.
• (b) Regresión lineal del gasto mensual con solo la edad como feature: R² train = 0.12, R² validación = 0.11.
• (c) Logística con features RFM: F1 train = 0.68, F1 validación = 0.64.
• (d) Árbol sobre un dataset con la columna motivo_baja: F1 train = 0.99, F1 validación = 0.99.

Escribe el código que calcula la curva de validación del hiperparámetro n_neighbors (valores 1 a 30) de un KNeighborsClassifier (con escalado en Pipeline) sobre el churn, con 5-fold CV y scoring="f1", e imprime el k óptimo. Indica qué extremo del rango esperas que sobreajuste y por qué.

La curva de aprendizaje del modelo de churn muestra: con el 100 % de los datos, F1 train = 0.91, F1 validación = 0.63, y la curva de validación lleva creciendo desde el 40 % de los datos sin aplanarse. MercaFresh puede (a) comprar 6 meses más de historial o (b) pagar una consultoría para probar más algoritmos. ¿Qué opción respalda el gráfico y por qué?

Solución 1.

• (a) Overfitting de libro: k=1 memoriza cada cliente (máxima varianza). Primera acción: aumentar k (la curva de validación sobre n_neighbors diría cuánto).
• (b) Underfitting: train y validación igual de bajos; la edad sola no explica el gasto. Primera acción: mejores features (las RFM de 03-06), no más complejidad sobre una feature pobre.
• (c) Punto dulce: buen nivel de validación y brecha pequeña (0.04). Acción: ninguna urgente; afinar con las técnicas del módulo 7 si se quiere exprimir más.
• (d) Sospecha de bug: rendimiento casi perfecto también en validación. motivo_baja solo se rellena después de la baja: es la fuga de información futura de 06-01. Primera acción: eliminar la columna y reevaluar.

Solución 2.

Sobreajusta el extremo k pequeño (k=1 en particular): cada predicción depende de un único vecino, así que el modelo reproduce el ruido individual del train (alta varianza). Con k muy grande ocurre lo contrario: la predicción se parece cada vez más a "la clase mayoritaria del entorno amplio" y aparece underfitting.

Solución 3. El gráfico respalda la opción (a), más datos: hay una brecha grande entre train (0.91) y validación (0.63) — señal de overfitting — y la curva de validación sigue subiendo al añadir datos, es decir, aún no ha convergido: cada ejemplo adicional sigue mejorando la generalización. Probar más algoritmos (b) sin atacar la varianza probablemente reproduciría el mismo patrón. Si la curva de validación estuviera plana desde el 40 %, la respuesta sería la contraria: más historial no aportaría y habría que cambiar de modelo o de features.

Overfitting y underfitting son las dos formas de fracasar de un modelo — memorizar el examen o no estudiarlo — y ya sabemos distinguirlas con la pareja de errores train/validación, entenderlas con el compromiso sesgo-varianza, localizar el punto dulce de complejidad con validation_curve, decidir si más datos ayudarían con learning_curve y aplicar el remedio correcto a cada diagnóstico. Con esta lección se cierra el módulo 6 y su checklist de evaluación honesta: división limpia, métrica pactada, baseline, validación cruzada, umbral con criterio de negocio y diagnóstico de ajuste. La pregunta "¿es bueno de verdad mi modelo?" ya tiene respuesta metodológica; la siguiente es "¿puedo hacerlo aún mejor?", y a eso dedicamos el módulo 7: regularización para domar el overfitting con precisión quirúrgica, ensembles y gradient boosting para combinar modelos, redes profundas y la optimización sistemática de hiperparámetros que automatiza las búsquedas que aquí hicimos a mano.