El Proyecto | Sobre nosotros | Contribuir | Donaciones | Licencia
HOME Mis cursos Finalizados
◄ Anterior
◄

Evaluación y Validación de Modelos

Siguiente ►
►

En este tema, aprenderemos sobre la importancia de la evaluación y validación de modelos en el aprendizaje automático (Machine Learning). La evaluación y validación son pasos críticos para asegurar que los modelos no solo funcionan bien en los datos de entrenamiento, sino que también generalizan adecuadamente a datos no vistos.

Objetivos de la Evaluación y Validación

  1. Medir el rendimiento del modelo: Determinar cómo de bien está funcionando el modelo en términos de precisión, exactitud, sensibilidad, etc.
  2. Detectar sobreajuste (overfitting): Identificar si el modelo está aprendiendo demasiado de los datos de entrenamiento y no generaliza bien a datos nuevos.
  3. Comparar diferentes modelos: Evaluar y comparar múltiples modelos para seleccionar el mejor.
  4. Optimizar hiperparámetros: Ajustar los parámetros del modelo para mejorar su rendimiento.

Métodos de Evaluación

  1. Conjunto de Entrenamiento y Prueba (Train-Test Split)

Dividir el conjunto de datos en dos partes: un conjunto de entrenamiento y un conjunto de prueba.

from sklearn.model_selection import train_test_split
from sklearn.datasets import load_iris
from sklearn.ensemble import RandomForestClassifier
from sklearn.metrics import accuracy_score

# Cargar datos
data = load_iris()
X = data.data
y = data.target

# Dividir datos en entrenamiento y prueba
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42)

# Entrenar el modelo
model = RandomForestClassifier()
model.fit(X_train, y_train)

# Predecir y evaluar
y_pred = model.predict(X_test)
accuracy = accuracy_score(y_test, y_pred)
print(f'Accuracy: {accuracy}')

  1. Validación Cruzada (Cross-Validation)

Dividir el conjunto de datos en múltiples subconjuntos y entrenar el modelo varias veces, cada vez utilizando un subconjunto diferente como conjunto de prueba.

from sklearn.model_selection import cross_val_score

# Validación cruzada
scores = cross_val_score(model, X, y, cv=5)
print(f'Cross-Validation Scores: {scores}')
print(f'Mean Accuracy: {scores.mean()}')

  1. Validación Cruzada Estratificada (Stratified Cross-Validation)

Similar a la validación cruzada, pero mantiene la proporción de clases en cada subconjunto.

from sklearn.model_selection import StratifiedKFold

# Validación cruzada estratificada
skf = StratifiedKFold(n_splits=5)
scores = cross_val_score(model, X, y, cv=skf)
print(f'Stratified Cross-Validation Scores: {scores}')
print(f'Mean Accuracy: {scores.mean()}')

Métricas de Evaluación

  1. Precisión (Accuracy)

La proporción de predicciones correctas sobre el total de predicciones.

from sklearn.metrics import accuracy_score

accuracy = accuracy_score(y_test, y_pred)
print(f'Accuracy: {accuracy}')

  1. Matriz de Confusión (Confusion Matrix)

Una tabla que muestra las predicciones correctas e incorrectas clasificadas por clase.

from sklearn.metrics import confusion_matrix

conf_matrix = confusion_matrix(y_test, y_pred)
print(f'Confusion Matrix:\n{conf_matrix}')

  1. Precisión, Sensibilidad y Especificidad (Precision, Recall, Specificity)

  • Precisión: Proporción de verdaderos positivos sobre el total de positivos predichos.
  • Sensibilidad (Recall): Proporción de verdaderos positivos sobre el total de positivos reales.
  • Especificidad: Proporción de verdaderos negativos sobre el total de negativos reales.
from sklearn.metrics import precision_score, recall_score

precision = precision_score(y_test, y_pred, average='macro')
recall = recall_score(y_test, y_pred, average='macro')
print(f'Precision: {precision}')
print(f'Recall: {recall}')

  1. Curva ROC y AUC (ROC Curve and AUC)

  • Curva ROC: Gráfica que muestra la relación entre la tasa de verdaderos positivos y la tasa de falsos positivos.
  • AUC (Area Under Curve): Área bajo la curva ROC, que mide la capacidad del modelo para distinguir entre clases.
from sklearn.metrics import roc_auc_score, roc_curve
import matplotlib.pyplot as plt

# Calcular probabilidades de predicción
y_prob = model.predict_proba(X_test)[:, 1]

# Calcular AUC
auc = roc_auc_score(y_test, y_prob)
print(f'AUC: {auc}')

# Graficar la curva ROC
fpr, tpr, _ = roc_curve(y_test, y_prob)
plt.plot(fpr, tpr, label=f'AUC = {auc}')
plt.xlabel('False Positive Rate')
plt.ylabel('True Positive Rate')
plt.title('ROC Curve')
plt.legend(loc='lower right')
plt.show()

Ejercicios Prácticos

Ejercicio 1: Evaluación Básica

  1. Carga el conjunto de datos load_wine de sklearn.datasets.
  2. Divide los datos en conjuntos de entrenamiento y prueba (80% entrenamiento, 20% prueba).
  3. Entrena un modelo de clasificación (por ejemplo, LogisticRegression).
  4. Evalúa el modelo utilizando precisión y matriz de confusión.

Ejercicio 2: Validación Cruzada

  1. Utiliza el mismo conjunto de datos load_wine.
  2. Implementa la validación cruzada con 10 pliegues (cv=10).
  3. Calcula y muestra la precisión media.

Ejercicio 3: Curva ROC y AUC

  1. Utiliza el mismo conjunto de datos load_wine.
  2. Entrena un modelo de clasificación.
  3. Calcula y grafica la curva ROC y el AUC.

Soluciones

Solución Ejercicio 1

from sklearn.datasets import load_wine
from sklearn.model_selection import train_test_split
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import accuracy_score, confusion_matrix

# Cargar datos
data = load_wine()
X = data.data
y = data.target

# Dividir datos en entrenamiento y prueba
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# Entrenar el modelo
model = LogisticRegression(max_iter=10000)
model.fit(X_train, y_train)

# Predecir y evaluar
y_pred = model.predict(X_test)
accuracy = accuracy_score(y_test, y_pred)
conf_matrix = confusion_matrix(y_test, y_pred)

print(f'Accuracy: {accuracy}')
print(f'Confusion Matrix:\n{conf_matrix}')

Solución Ejercicio 2

from sklearn.model_selection import cross_val_score

# Validación cruzada
scores = cross_val_score(model, X, y, cv=10)
print(f'Cross-Validation Scores: {scores}')
print(f'Mean Accuracy: {scores.mean()}')

Solución Ejercicio 3

from sklearn.metrics import roc_auc_score, roc_curve
import matplotlib.pyplot as plt

# Calcular probabilidades de predicción
y_prob = model.predict_proba(X_test)[:, 1]

# Calcular AUC
auc = roc_auc_score(y_test, y_prob)
print(f'AUC: {auc}')

# Graficar la curva ROC
fpr, tpr, _ = roc_curve(y_test, y_prob)
plt.plot(fpr, tpr, label=f'AUC = {auc}')
plt.xlabel('False Positive Rate')
plt.ylabel('True Positive Rate')
plt.title('ROC Curve')
plt.legend(loc='lower right')
plt.show()

Conclusión

En esta sección, hemos aprendido sobre la importancia de la evaluación y validación de modelos en el aprendizaje automático. Hemos explorado diferentes métodos de evaluación como el Train-Test Split y la Validación Cruzada, y hemos revisado varias métricas de evaluación como la precisión, la matriz de confusión, la precisión, la sensibilidad y la curva ROC. Además, hemos practicado con ejercicios prácticos para reforzar estos conceptos. En el siguiente módulo, profundizaremos en las redes neuronales y el deep learning.

◄ Anterior
◄
Siguiente ►
►
El Proyecto | Sobre nosotros | Contribuir | Donaciones | Licencia
© Copyright 2024. Todos los derechos reservados