El Proyecto | Sobre nosotros | Contribuir | Donaciones | Licencia
HOME Mis cursos Finalizados
◄ Anterior
◄

Spark MLlib

Siguiente ►
►

Introducción a Spark MLlib

Spark MLlib es la biblioteca de aprendizaje automático (Machine Learning) de Apache Spark. Proporciona herramientas para realizar tareas de aprendizaje automático a gran escala, como clasificación, regresión, clustering, filtrado colaborativo, entre otras. MLlib está diseñado para ser escalable y fácil de usar, aprovechando la capacidad de procesamiento distribuido de Spark.

Objetivos del Módulo

  • Comprender los conceptos básicos de Spark MLlib.
  • Aprender a utilizar las principales funcionalidades de MLlib.
  • Implementar algoritmos de aprendizaje automático utilizando MLlib.
  • Realizar evaluaciones y ajustes de modelos.

Conceptos Clave

  1. Algoritmos de MLlib

MLlib incluye una variedad de algoritmos de aprendizaje automático, que se pueden clasificar en las siguientes categorías:

  • Clasificación: Algoritmos para predecir etiquetas categóricas.
  • Regresión: Algoritmos para predecir valores continuos.
  • Clustering: Algoritmos para agrupar datos no etiquetados.
  • Filtrado Colaborativo: Algoritmos para recomendaciones.
  • Reducción de Dimensionalidad: Técnicas para reducir el número de variables.

  1. Pipelines de MLlib

Los pipelines en MLlib permiten construir flujos de trabajo de aprendizaje automático de manera estructurada y modular. Un pipeline puede incluir varias etapas, como la transformación de datos, el ajuste de modelos y la evaluación.

  1. Evaluación de Modelos

MLlib proporciona métricas y herramientas para evaluar el rendimiento de los modelos de aprendizaje automático, como la precisión, el área bajo la curva ROC, el error cuadrático medio, entre otros.

Ejemplo Práctico: Clasificación con MLlib

Paso 1: Configuración del Entorno

Primero, asegúrate de tener un entorno de Spark configurado. Puedes usar el siguiente código para iniciar una sesión de Spark en Python:

from pyspark.sql import SparkSession

# Crear una sesión de Spark
spark = SparkSession.builder \
    .appName("MLlib Example") \
    .getOrCreate()

Paso 2: Cargar y Preparar los Datos

Para este ejemplo, utilizaremos el conjunto de datos de iris, que es un conjunto de datos comúnmente utilizado para tareas de clasificación.

from pyspark.ml.feature import VectorAssembler
from pyspark.ml.linalg import Vectors
from pyspark.sql.functions import col

# Cargar el conjunto de datos de iris
data = spark.read.csv("iris.csv", header=True, inferSchema=True)

# Mostrar las primeras filas del conjunto de datos
data.show(5)

# Convertir las características en un vector
assembler = VectorAssembler(
    inputCols=["sepal_length", "sepal_width", "petal_length", "petal_width"],
    outputCol="features"
)
data = assembler.transform(data)

# Seleccionar las columnas necesarias
data = data.select(col("features"), col("species").alias("label"))

Paso 3: Dividir los Datos en Conjuntos de Entrenamiento y Prueba

Dividimos los datos en conjuntos de entrenamiento y prueba para evaluar el rendimiento del modelo.

# Dividir los datos en conjuntos de entrenamiento y prueba
train_data, test_data = data.randomSplit([0.7, 0.3])

Paso 4: Entrenar un Modelo de Clasificación

Utilizaremos un clasificador de árboles de decisión para este ejemplo.

from pyspark.ml.classification import DecisionTreeClassifier

# Crear el clasificador de árbol de decisión
dt = DecisionTreeClassifier(labelCol="label", featuresCol="features")

# Entrenar el modelo
model = dt.fit(train_data)

Paso 5: Evaluar el Modelo

Evaluamos el modelo utilizando el conjunto de prueba.

from pyspark.ml.evaluation import MulticlassClassificationEvaluator

# Realizar predicciones en el conjunto de prueba
predictions = model.transform(test_data)

# Evaluar la precisión del modelo
evaluator = MulticlassClassificationEvaluator(
    labelCol="label", predictionCol="prediction", metricName="accuracy"
)
accuracy = evaluator.evaluate(predictions)
print(f"Precisión del modelo: {accuracy:.2f}")

Paso 6: Guardar y Cargar el Modelo

Podemos guardar el modelo entrenado para su uso futuro y cargarlo cuando sea necesario.

# Guardar el modelo
model.save("decision_tree_model")

# Cargar el modelo
from pyspark.ml.classification import DecisionTreeClassificationModel
loaded_model = DecisionTreeClassificationModel.load("decision_tree_model")

Ejercicios Prácticos

Ejercicio 1: Clasificación con Logistic Regression

Utiliza el clasificador de regresión logística en lugar del árbol de decisión para el conjunto de datos de iris. Evalúa la precisión del modelo y compárala con la del árbol de decisión.

Ejercicio 2: Clustering con K-means

Aplica el algoritmo de clustering K-means al conjunto de datos de iris. Visualiza los clusters resultantes y analiza su calidad.

Ejercicio 3: Filtrado Colaborativo

Implementa un sistema de recomendación utilizando el algoritmo ALS (Alternating Least Squares) en un conjunto de datos de calificaciones de películas.

Conclusión

En este módulo, hemos explorado las capacidades de Spark MLlib para realizar tareas de aprendizaje automático a gran escala. Hemos aprendido a cargar y preparar datos, entrenar modelos de clasificación, evaluar su rendimiento y guardar los modelos para su uso futuro. Los ejercicios prácticos proporcionan una oportunidad para aplicar estos conceptos y profundizar en el uso de MLlib.

En el siguiente módulo, exploraremos Spark Streaming y cómo procesar datos en tiempo real utilizando Apache Spark.

◄ Anterior
◄
Siguiente ►
►
El Proyecto | Sobre nosotros | Contribuir | Donaciones | Licencia
© Copyright 2024. Todos los derechos reservados