El Proyecto | Sobre nosotros | Contribuir | Donaciones | Licencia
HOME Mis cursos Finalizados
◄ Anterior
◄

Cloud Dataproc

Siguiente ►
►

Introducción a Cloud Dataproc

Cloud Dataproc es un servicio de Google Cloud Platform que facilita la gestión de clústeres de Apache Hadoop y Apache Spark. Permite a los usuarios ejecutar trabajos de procesamiento de datos a gran escala de manera rápida y eficiente, aprovechando la infraestructura de Google Cloud.

Objetivos de Aprendizaje

Al finalizar esta sección, deberías ser capaz de:

  1. Comprender qué es Cloud Dataproc y sus casos de uso.
  2. Configurar y gestionar clústeres de Dataproc.
  3. Ejecutar trabajos de procesamiento de datos utilizando Hadoop y Spark en Dataproc.
  4. Integrar Dataproc con otros servicios de GCP.

¿Qué es Cloud Dataproc?

Cloud Dataproc es un servicio gestionado que permite ejecutar clústeres de Hadoop y Spark en la nube. Ofrece una forma sencilla y rápida de procesar grandes volúmenes de datos, con la flexibilidad de escalar según sea necesario.

Características Clave

  • Gestión Simplificada: Creación y eliminación rápida de clústeres.
  • Escalabilidad: Ajuste automático del tamaño del clúster según la carga de trabajo.
  • Integración: Compatible con otros servicios de GCP como BigQuery, Cloud Storage y Cloud Bigtable.
  • Costo-Eficiencia: Pago por uso, con la capacidad de apagar clústeres cuando no se necesitan.

Configuración de un Clúster de Dataproc

Paso 1: Crear un Clúster

  1. Accede a la consola de GCP y navega a la sección de Dataproc.

  2. Haz clic en "Crear clúster".

  3. Configura los detalles del clúster:

    • Nombre del clúster: Asigna un nombre único.
    • Región y zona: Selecciona la región y zona donde se desplegará el clúster.
    • Tipo de máquina: Elige el tipo de máquina para los nodos maestros y trabajadores.
    • Número de nodos: Define el número de nodos maestros y trabajadores.

  4. Configura las opciones avanzadas si es necesario, como la configuración de red y las etiquetas.

  5. Haz clic en "Crear" para desplegar el clúster.

Ejemplo de Configuración

from google.cloud import dataproc_v1 as dataproc

# Configuración del cliente
client = dataproc.ClusterControllerClient()

# Detalles del clúster
project_id = 'your-project-id'
region = 'us-central1'
cluster_name = 'example-cluster'

# Configuración del clúster
cluster = {
    'project_id': project_id,
    'cluster_name': cluster_name,
    'config': {
        'gce_cluster_config': {
            'zone_uri': 'us-central1-a'
        },
        'master_config': {
            'num_instances': 1,
            'machine_type_uri': 'n1-standard-1'
        },
        'worker_config': {
            'num_instances': 2,
            'machine_type_uri': 'n1-standard-1'
        }
    }
}

# Creación del clúster
operation = client.create_cluster(project_id, region, cluster)
result = operation.result()
print(f'Cluster created: {result.cluster_name}')

Ejecutar Trabajos en Dataproc

Paso 2: Subir Datos a Cloud Storage

Antes de ejecutar un trabajo, necesitas subir los datos a Cloud Storage.

gsutil cp local-data-file.csv gs://your-bucket-name/

Paso 3: Ejecutar un Trabajo de Spark

  1. Accede a la consola de GCP y navega a la sección de Dataproc.
  2. Selecciona el clúster donde deseas ejecutar el trabajo.
  3. Haz clic en "Ejecutar trabajo".
  4. Configura los detalles del trabajo:
    • Tipo de trabajo: Spark, Hadoop, etc.
    • Clase principal o script: Ruta al archivo JAR o script.
    • Argumentos: Argumentos necesarios para el trabajo.

Ejemplo de Trabajo de Spark

from google.cloud import dataproc_v1 as dataproc

# Configuración del cliente
client = dataproc.JobControllerClient()

# Detalles del trabajo
project_id = 'your-project-id'
region = 'us-central1'
cluster_name = 'example-cluster'

# Configuración del trabajo
job = {
    'placement': {
        'cluster_name': cluster_name
    },
    'spark_job': {
        'main_class': 'org.apache.spark.examples.SparkPi',
        'jar_file_uris': ['file:///usr/lib/spark/examples/jars/spark-examples.jar'],
        'args': ['1000']
    }
}

# Envío del trabajo
operation = client.submit_job(project_id, region, job)
result = operation.result()
print(f'Job finished: {result.driver_output_resource_uri}')

Integración con Otros Servicios de GCP

BigQuery

Puedes exportar los resultados de tus trabajos de Dataproc a BigQuery para análisis adicionales.

Cloud Storage

Cloud Storage se utiliza comúnmente para almacenar datos de entrada y salida para trabajos de Dataproc.

Cloud Pub/Sub

Puedes utilizar Cloud Pub/Sub para orquestar y desencadenar trabajos de Dataproc basados en eventos.

Ejercicio Práctico

Ejercicio 1: Crear y Ejecutar un Trabajo de Spark en Dataproc

  1. Crear un clúster de Dataproc siguiendo los pasos mencionados.
  2. Subir un archivo de datos a Cloud Storage.
  3. Escribir un script de Spark que procese el archivo de datos.
  4. Ejecutar el trabajo de Spark en el clúster de Dataproc.

Solución

  1. Crear el clúster:

    • Sigue los pasos mencionados en la sección "Configurar un Clúster de Dataproc".

  2. Subir el archivo de datos:

    gsutil cp local-data-file.csv gs://your-bucket-name/

  3. Escribir el script de Spark:

    from pyspark.sql import SparkSession

spark = SparkSession.builder.appName('example').getOrCreate()
df = spark.read.csv('gs://your-bucket-name/local-data-file.csv', header=True)
df.show()

  4. Ejecutar el trabajo de Spark:

    • Sigue los pasos mencionados en la sección "Ejecutar un Trabajo de Spark".

Conclusión

En esta sección, hemos aprendido sobre Cloud Dataproc, cómo configurar y gestionar clústeres, y cómo ejecutar trabajos de procesamiento de datos utilizando Hadoop y Spark. También hemos visto cómo integrar Dataproc con otros servicios de GCP para crear soluciones de procesamiento de datos más completas y eficientes.

Próximos Pasos

En el siguiente módulo, exploraremos otros servicios de datos y análisis en GCP, como BigQuery y Cloud Dataflow, para ampliar nuestras capacidades de procesamiento y análisis de datos.

◄ Anterior
◄
Siguiente ►
►
El Proyecto | Sobre nosotros | Contribuir | Donaciones | Licencia
© Copyright 2024. Todos los derechos reservados