El Proyecto | Sobre nosotros | Contribuir | Donaciones | Licencia
HOME Mis cursos Finalizados
◄ Anterior
◄

Apache Oozie

Siguiente ►
►

Introducción a Apache Oozie

Apache Oozie es un sistema de coordinación de flujos de trabajo para la gestión de trabajos en Hadoop. Permite a los usuarios definir y ejecutar flujos de trabajo que consisten en una serie de trabajos de Hadoop, como MapReduce, Pig, Hive, y otros. Oozie facilita la automatización y la gestión de tareas complejas en el ecosistema Hadoop.

Características Clave de Apache Oozie

  • Coordinación de Flujos de Trabajo: Permite la definición de flujos de trabajo que pueden incluir múltiples trabajos de Hadoop.
  • Programación de Tareas: Soporta la programación de trabajos basados en tiempo y eventos.
  • Integración con el Ecosistema Hadoop: Se integra fácilmente con otras herramientas de Hadoop como Pig, Hive, y HDFS.
  • Tolerancia a Fallos: Proporciona mecanismos para la reanudación de trabajos fallidos.
  • Extensibilidad: Permite la creación de acciones personalizadas para tareas específicas.

Arquitectura de Apache Oozie

La arquitectura de Oozie se compone de varios componentes clave:

  1. Oozie Server: El servidor principal que gestiona la ejecución de flujos de trabajo y trabajos coordinados.
  2. Oozie Client: Una interfaz de línea de comandos que permite a los usuarios interactuar con el servidor Oozie.
  3. Base de Datos: Utilizada para almacenar el estado de los flujos de trabajo y trabajos.
  4. HDFS: Utilizado para almacenar las definiciones de flujos de trabajo y archivos de configuración.

Diagrama de Arquitectura

+-------------------+
|    Oozie Client   |
+--------+----------+
         |
         v
+--------+----------+
|    Oozie Server   |
+--------+----------+
         |
         v
+--------+----------+
|      Database     |
+--------+----------+
         |
         v
+--------+----------+
|        HDFS       |
+-------------------+

Definición de Flujos de Trabajo en Oozie

Un flujo de trabajo en Oozie se define utilizando archivos XML que describen las acciones y la secuencia en la que deben ejecutarse. A continuación se muestra un ejemplo básico de un flujo de trabajo que ejecuta un trabajo de MapReduce.

Ejemplo de Flujo de Trabajo

<workflow-app name="example-wf" xmlns="uri:oozie:workflow:0.5">
    <start to="map-reduce-node"/>
    
    <action name="map-reduce-node">
        <map-reduce>
            <job-tracker>${jobTracker}</job-tracker>
            <name-node>${nameNode}</name-node>
            <configuration>
                <property>
                    <name>mapred.mapper.class</name>
                    <value>org.apache.hadoop.examples.WordCount$TokenizerMapper</value>
                </property>
                <property>
                    <name>mapred.reducer.class</name>
                    <value>org.apache.hadoop.examples.WordCount$IntSumReducer</value>
                </property>
            </configuration>
        </map-reduce>
        <ok to="end"/>
        <error to="fail"/>
    </action>
    
    <kill name="fail">
        <message>Job failed, error message[${wf:errorMessage(wf:lastErrorNode())}]</message>
    </kill>
    
    <end name="end"/>
</workflow-app>

Explicación del Flujo de Trabajo

  • : Define el nodo de inicio del flujo de trabajo.
  • : Define una acción de MapReduce.
    • : Especifica que esta acción es un trabajo de MapReduce.
    • y : Especifican las ubicaciones del JobTracker y NameNode.
    • : Define la configuración del trabajo de MapReduce.
  • : Define la transición en caso de éxito.
  • : Define la transición en caso de error.
  • : Define el nodo de terminación en caso de fallo.
  • : Define el nodo de terminación en caso de éxito.

Ejercicio Práctico

Ejercicio 1: Crear un Flujo de Trabajo Básico en Oozie

Objetivo: Crear y ejecutar un flujo de trabajo en Oozie que ejecute un trabajo de MapReduce.

Instrucciones:

  1. Definir el Flujo de Trabajo:

    • Crea un archivo XML llamado workflow.xml con la definición del flujo de trabajo.
    • Utiliza el ejemplo proporcionado anteriormente como referencia.

  2. Subir el Flujo de Trabajo a HDFS:

    • Utiliza el siguiente comando para subir el archivo a HDFS: 
      hdfs dfs -put workflow.xml /user/oozie/workflows/

  3. Ejecutar el Flujo de Trabajo:

    • Utiliza el siguiente comando para ejecutar el flujo de trabajo: 
      oozie job -oozie http://<oozie-server>:11000/oozie -config job.properties -run
    • Asegúrate de crear un archivo job.properties con las configuraciones necesarias.

  4. Verificar el Estado del Trabajo:

    • Utiliza el siguiente comando para verificar el estado del trabajo: 
      oozie job -oozie http://<oozie-server>:11000/oozie -info <job-id>

Solución del Ejercicio

Archivo workflow.xml:

<workflow-app name="example-wf" xmlns="uri:oozie:workflow:0.5">
    <start to="map-reduce-node"/>
    
    <action name="map-reduce-node">
        <map-reduce>
            <job-tracker>${jobTracker}</job-tracker>
            <name-node>${nameNode}</name-node>
            <configuration>
                <property>
                    <name>mapred.mapper.class</name>
                    <value>org.apache.hadoop.examples.WordCount$TokenizerMapper</value>
                </property>
                <property>
                    <name>mapred.reducer.class</name>
                    <value>org.apache.hadoop.examples.WordCount$IntSumReducer</value>
                </property>
            </configuration>
        </map-reduce>
        <ok to="end"/>
        <error to="fail"/>
    </action>
    
    <kill name="fail">
        <message>Job failed, error message[${wf:errorMessage(wf:lastErrorNode())}]</message>
    </kill>
    
    <end name="end"/>
</workflow-app>

Archivo job.properties:

nameNode=hdfs://<namenode-host>:8020
jobTracker=<jobtracker-host>:8021
oozie.wf.application.path=${nameNode}/user/oozie/workflows/workflow.xml

Comandos:

hdfs dfs -put workflow.xml /user/oozie/workflows/
oozie job -oozie http://<oozie-server>:11000/oozie -config job.properties -run
oozie job -oozie http://<oozie-server>:11000/oozie -info <job-id>

Conclusión

En esta sección, hemos aprendido sobre Apache Oozie, su arquitectura y cómo definir y ejecutar flujos de trabajo en Hadoop. Oozie es una herramienta poderosa para la coordinación y gestión de trabajos en el ecosistema Hadoop, permitiendo la automatización de tareas complejas y la integración con otras herramientas de Hadoop. Con la práctica y el uso de ejercicios, los estudiantes pueden adquirir una comprensión profunda de cómo utilizar Oozie para gestionar flujos de trabajo en entornos de Big Data.

◄ Anterior
◄
Siguiente ►
►
El Proyecto | Sobre nosotros | Contribuir | Donaciones | Licencia
© Copyright 2024. Todos los derechos reservados