Este es el momento que llevamos preparando todo el módulo. Ya sabes qué es un perceptrón y por qué se apilan capas (02-01), qué activación poner en cada sitio (02-02), cómo la red aprende con forward y backpropagation (02-03) y qué pérdida y optimizador elegir (02-04). Hoy lo ensamblamos todo en un proyecto de principio a fin: construir, entrenar y evaluar en Keras una red densa que reconoce dígitos escritos a mano usando MNIST, el dataset clásico de la disciplina. Seguimos la metodología de TecnoMarket presentada en el módulo 1 —prototipo con datasets públicos → aplicación a datos ficticios de TecnoMarket—: antes de intentar clasificar fotos de productos, el equipo valida el flujo de trabajo completo con un banco de pruebas estándar. Ese flujo (cargar → explorar → preprocesar → definir → entrenar → evaluar → predecir → guardar) es idéntico en cualquier proyecto real, y a partir de hoy es tuyo.

1. El proyecto y el dataset: por qué MNIST
2. Cargar y explorar los datos
3. Preprocesar: normalización y splits
4. Definir el modelo (justificando cada elección)
5. Entrenar y leer las curvas de loss/accuracy
6. Evaluar en test y hacer predicciones individuales
7. Guardar el modelo en tecnomarket-dl/
8. Los límites del prototipo: por qué las fotos reales pedirán otra arquitectura

MNIST contiene 70 000 imágenes en escala de grises de 28×28 píxeles con dígitos manuscritos (0–9), ya divididas en 60 000 de entrenamiento y 10 000 de test. Es el "hola mundo" del deep learning por tres razones prácticas: se descarga con una línea, entrena en minutos sin GPU, y es lo bastante difícil como para que los conceptos importen y lo bastante fácil como para que todo funcione a la primera.

Encaje con TecnoMarket: el objetivo final del equipo de visión es clasificar fotos de productos en categorías (portátil, cafetera, aspiradora…). MNIST es su banco de pruebas: mismo tipo de problema (clasificación multiclase de imágenes), tamaño manejable, resultado conocido. Si el flujo funciona aquí, migrar a las fotos reales será cuestión de arquitectura (módulo 3) y datos, no de metodología.

Trabaja donde preparaste el entorno en el módulo 1: un notebook en tecnomarket-dl/notebooks/ (o Colab, si elegiste esa vía).

Nunca entrenes sobre datos que no has mirado. Es la primera regla de cualquier proyecto.

Lectura de la exploración: cada imagen es una matriz 28×28 de enteros 0–255 (0 = negro, 255 = blanco), las etiquetas son enteros 0–9, y las diez clases están razonablemente equilibradas (entre 5 400 y 6 700 ejemplos cada una) — importante, porque una clase con muy pocos ejemplos se aprendería mal. Veamos algunas imágenes con sus etiquetas:

Dedica un minuto a mirarlas: verás sietes con y sin barra, unos inclinados, nueves que casi parecen cuatros. Esa variabilidad es exactamente lo que la red tendrá que absorber.

Tres transformaciones separan los datos crudos de los datos listos:

1. Aplanar. Nuestra red densa espera un vector por ejemplo, no una matriz: convertimos cada imagen 28×28 en un vector de 784 valores. (Sí, esto destruye la estructura espacial; volveremos sobre esa herida en el apartado 8.)

2. Normalizar. Escalamos los píxeles de 0–255 a 0–1. ¿Por qué? Por lo aprendido en 02-03: los gradientes dependen de la magnitud de las entradas, y con entradas de hasta 255 las sumas ponderadas serían enormes, saturarían activaciones y obligarían a learning rates minúsculos. Entradas en torno a [0, 1] mantienen el entrenamiento en la zona cómoda.

3. Separar validación. Del vocabulario de 01-04: train para ajustar pesos, validation para vigilar el progreso con datos que la red no usa para aprender, test para el examen final, una sola vez. MNIST ya trae el test separado; reservamos ahora el 10 % del train como validación.

Las etiquetas las dejamos como enteros 0–9: en 02-04 vimos que sparse_categorical_crossentropy las acepta directamente, sin conversión one-hot.

Construimos una red densa 784 → 128 → 64 → 10. Cada decisión sale de una lección de este módulo:

Haz la comprobación que ya hiciste con la red 3-4-2-1 de 29 parámetros en 01-04, ahora a lo grande: $784 \times 128 + 128 = 100480$; $128 \times 64 + 64 = 8256$; $64 \times 10 + 10 = 650$. Total 109 386 parámetros — pesos y sesgos que backpropagation ajustará. El mismo recuento de siempre, tres órdenes de magnitud más arriba.

Cada época son $54000 / 64 \approx 844$ actualizaciones mini-batch de los 109 386 parámetros, cada una con su forward, su backward y su paso de Adam: todo 02-03 y 02-04 girando por dentro. El objeto historial guarda las métricas por época; dibujarlas es obligatorio:

Cómo leer las curvas:

• Las dos pérdidas bajan juntas al principio: la red aprende patrones generales. Bien.
• Hacia la época 5–7 se separan: la de train sigue cayendo (hasta 0.01) pero la de validación se estanca e incluso sube ligeramente (0.086 → 0.101). La red empieza a memorizar peculiaridades del train que no generalizan: es el sobreajuste (overfitting). Con esta magnitud es leve (el val_accuracy se mantiene ≈ 97.7 %), pero la señal es inequívoca: entrenar más épocas ya no mejora nada útil.
• Regla práctica: la curva que importa es la de validación. Las técnicas para combatir el sobreajuste (regularización, dropout, early stopping) tienen su propia lección en el módulo 5; por ahora, basta con saber detectarlo y no entrenar de más.

El test se toca una sola vez, al final, para obtener la cifra honesta que reportarías al equipo de TecnoMarket:

Un 97.7 % con una red densa sencilla: unas 230 imágenes falladas de 10 000. Ahora, predicciones individuales, que es como el modelo se usaría en producción:

predict devuelve las 10 probabilidades del softmax por imagen; argmax elige la clase más probable. Aún más instructivo es mirar los errores:

Verás que muchos fallos son dígitos genuinamente ambiguos (cuatros que parecen nueves, sietes retorcidos) donde incluso un humano dudaría. Analizar errores concretos —no solo la métrica global— es un hábito profesional que reaparecerá en todos los proyectos del módulo 7.

Un modelo que solo vive en la memoria del notebook se pierde al cerrar la sesión. Guardamos los 109 386 pesos, la arquitectura y la configuración de compile en un solo fichero, dentro de la estructura de carpetas que creamos en 01-05:

El formato .keras es el nativo moderno de Keras y basta un load_model para recuperar el modelo entero, listo para predecir o seguir entrenando. Esto es todo lo que necesitas por ahora: el versionado serio, los formatos alternativos y el despliegue real de modelos (servirlos en producción para la web de TecnoMarket) tienen su propia lección en el módulo 6.

El prototipo está validado; ¿puede el equipo lanzarse ya a clasificar las fotos de productos de TecnoMarket con esta misma red? No, y entender por qué es la mejor transición al próximo módulo:

• Aplanar destruye la estructura espacial. Al convertir 28×28 en 784 valores, la red no sabe que el píxel 30 está justo debajo del píxel 2. Aprende a base de fuerza bruta estadística, cosa viable con dígitos centrados de 28×28, pero no con fotos de 224×224 donde la cafetera puede aparecer en cualquier rincón.
• Sin invarianza a la posición. Si desplazas un dígito tres píxeles a la derecha, para la red densa es un vector completamente distinto — cada píxel cae en otra entrada con otros pesos. Las fotos reales de productos varían en posición, escala, ángulo e iluminación.
• Explosión de parámetros. Con fotos en color de 224×224 (150 528 entradas), solo la primera capa densa de 128 neuronas tendría 19 millones de parámetros. Inviable e ineficiente.

La solución son las redes convolucionales (CNN): capas que miran la imagen por parches, comparten pesos y respetan la estructura espacial. Son exactamente el tema del módulo 3.

• Olvidar la normalización. Con píxeles 0–255 la red puede seguir entrenando, pero peor y más despacio (accuracy típico varios puntos por debajo). Si tus resultados son sospechosamente malos, revisa antes que nada el rango de las entradas: X.min(), X.max().
• Normalizar train y test con criterios distintos. Toda transformación se define con el train y se aplica idéntica al test. Aquí es trivial (dividir por 255), pero el principio evitará errores graves con datos tabulares.
• Evaluar en test muchas veces mientras ajustas. Si pruebas diez arquitecturas mirando el test y te quedas con la mejor, el test ha dejado de ser un examen honesto: has ajustado a él. Para iterar está la validación; el test es la nota final.
• Fijarse solo en el accuracy de train. Un 99.6 % en train con 97.7 % en validación es sobreajuste, no éxito. La cifra que cuenta es siempre la de validación/test.
• Olvidar aplanar/preprocesar en el momento de predecir. El modelo espera exactamente el formato con el que se entrenó: vector de 784 floats en [0, 1], con forma (n, 784) (¡aunque sea una sola imagen: (1, 784), no (784,)!).
• Épocas de más "por si acaso". Cuando la curva de validación lleva varias épocas plana o subiendo, seguir entrenando solo aumenta el sobreajuste. Detente y quédate con la zona buena.

1. Fashion-MNIST, mismo flujo. Repite el proyecto completo con keras.datasets.fashion_mnist (mismas formas: 28×28, 10 clases, pero prendas de ropa: camisetas, zapatillas, bolsos — un banco de pruebas aún más cercano a los productos de TecnoMarket). ¿Qué accuracy de test consigues? ¿Por qué crees que es más bajo que en MNIST?
2. El tamaño importa (¿o no?). Sobre MNIST, entrena tres variantes: (a) sin capas ocultas (784 → 10 softmax, una regresión logística multiclase), (b) una oculta de 32, (c) la red del texto (128 + 64). Compara accuracy de validación y número de parámetros de cada una en una pequeña tabla. ¿Compensa cada salto de tamaño?
3. Informe de confianza. Escribe una función predecir_con_confianza(modelo, imagen) que devuelva la clase predicha, su probabilidad, y la segunda clase más probable con la suya; pruébala sobre 3 imágenes acertadas y 3 falladas del test. ¿Qué observas en la confianza de los fallos?

Ejercicio 1. El código es idéntico cambiando la línea de carga por keras.datasets.fashion_mnist.load_data(). El accuracy de test típico ronda el 88–90 %, frente al ~98 % de MNIST. La razón: las clases de ropa se parecen mucho más entre sí (camiseta vs. camisa vs. abrigo comparten silueta) que los dígitos, y la textura/forma fina importa más — dificultad que anticipa la de las fotos reales de productos y que motiva aún más las CNN del módulo 3.

Ejercicio 2. Resultados típicos (los tuyos variarán algo por la aleatoriedad de la inicialización):

El primer salto (añadir una capa oculta) es el que más aporta: pasa de un modelo lineal a uno no lineal, +4 puntos. El segundo salto multiplica por 4 los parámetros para ganar ~1 punto: rendimientos decrecientes. Lección: más grande ayuda, pero cada vez menos, y el salto cualitativo lo da la no linealidad (como sabías desde 02-02).

Ejercicio 3.

En las imágenes acertadas la confianza suele superar 0.99 y la segunda opción queda por debajo de 0.01. En las falladas es habitual ver confianzas menores (0.5–0.9) con una segunda opción fuerte que a menudo es la clase correcta (real 4, pred 9 con 0.55, segunda 4 con 0.42). Moraleja para TecnoMarket: las probabilidades del softmax permiten políticas de "revisión humana si la confianza es baja", igual que el umbral graduable del detector de fraude.

Acabas de completar tu primer proyecto de deep learning de principio a fin: exploraste MNIST, lo normalizaste y particionaste, definiste una red densa 784-128-64-10 justificando cada pieza con las lecciones del módulo (ReLU en ocultas, softmax + entropía cruzada categórica en la salida, Adam como optimizador, mini-batches de 64), entrenaste vigilando las curvas y detectando el inicio del sobreajuste, obtuviste un ~97.7 % honesto en test, examinaste errores individuales y guardaste el modelo versionado en tecnomarket-dl/models/. El flujo que has seguido es el mismo que usarás en todos los proyectos que quedan del curso; solo cambiarán los datos y las arquitecturas.

Y precisamente de arquitecturas va el siguiente paso. Hemos visto que la red densa trata la imagen como una lista plana de píxeles: le funcionó a duras penas con dígitos de 28×28 y le costaría mucho más con las prendas de Fashion-MNIST — y sería inviable con las fotos reales de productos de TecnoMarket. En el módulo 3 conocerás las redes neuronales convolucionales (CNN), la arquitectura que entiende las imágenes como lo que son: estructuras espaciales donde la posición, los bordes y las formas importan.