¿Qué es MapReduce?

MapReduce es un modelo de programación y una plataforma de procesamiento de datos que permite el procesamiento de grandes volúmenes de datos de manera distribuida. Fue desarrollado por Google y es una de las tecnologías fundamentales en el ecosistema Hadoop. MapReduce divide el trabajo en dos fases principales: Map y Reduce.

Fases de MapReduce

Map: En esta fase, los datos de entrada se dividen en fragmentos más pequeños y se procesan en paralelo. Cada fragmento es procesado por una función de mapeo que genera pares clave-valor intermedios.
Reduce: En esta fase, los pares clave-valor intermedios generados por la fase de mapeo se agrupan por clave y se procesan para producir el resultado final.

Ejemplo Práctico

Para ilustrar cómo funciona MapReduce, consideremos un ejemplo clásico: el conteo de palabras en un conjunto de documentos.

Paso 1: Datos de Entrada

Supongamos que tenemos los siguientes documentos:

Documento 1: "Hadoop es una plataforma de procesamiento de datos."
Documento 2: "MapReduce es un modelo de programación."

Paso 2: Fase de Mapeo

La función de mapeo toma cada documento y lo divide en palabras, generando pares clave-valor donde la clave es la palabra y el valor es el número 1.

// Pseudocódigo de la función de mapeo
function map(String document) {
    for each word in document.split(" ") {
        emit(word, 1);
    }
}

Salida de la fase de mapeo:

Clave	Valor
Hadoop	1
es	1
una	1
plataforma	1
de	1
procesamiento	1
de	1
datos	1
MapReduce	1
es	1
un	1
modelo	1
de	1
programación	1

Paso 3: Fase de Reducción

La función de reducción toma los pares clave-valor intermedios, los agrupa por clave y suma los valores.

// Pseudocódigo de la función de reducción
function reduce(String key, List<Integer> values) {
    int sum = 0;
    for each value in values {
        sum += value;
    }
    emit(key, sum);
}

Salida de la fase de reducción:

Clave	Valor
Hadoop	1
es	2
una	1
plataforma	1
de	3
procesamiento	1
datos	1
MapReduce	1
un	1
modelo	1
programación	1

Ventajas de MapReduce

Escalabilidad: MapReduce puede manejar petabytes de datos distribuidos en miles de nodos.
Tolerancia a Fallos: Hadoop MapReduce maneja fallos de hardware y software de manera eficiente.
Simplicidad: El modelo de programación es sencillo y permite a los desarrolladores centrarse en la lógica de procesamiento de datos.

Desventajas de MapReduce

Latencia: MapReduce puede tener una latencia alta debido a la necesidad de escribir datos intermedios en disco.
Complejidad en la Depuración: Depurar programas MapReduce puede ser complicado debido a la naturaleza distribuida del procesamiento.

Ejercicio Práctico

Ejercicio 1: Conteo de Palabras

Escribe un programa MapReduce en Java para contar el número de ocurrencias de cada palabra en un conjunto de documentos.

Solución

import java.io.IOException;
import java.util.StringTokenizer;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

public class WordCount {

    public static class TokenizerMapper
            extends Mapper<Object, Text, Text, IntWritable>{

        private final static IntWritable one = new IntWritable(1);
        private Text word = new Text();

        public void map(Object key, Text value, Context context
        ) throws IOException, InterruptedException {
            StringTokenizer itr = new StringTokenizer(value.toString());
            while (itr.hasMoreTokens()) {
                word.set(itr.nextToken());
                context.write(word, one);
            }
        }
    }

    public static class IntSumReducer
            extends Reducer<Text, IntWritable, Text, IntWritable> {
        private IntWritable result = new IntWritable();

        public void reduce(Text key, Iterable<IntWritable> values,
                           Context context
        ) throws IOException, InterruptedException {
            int sum = 0;
            for (IntWritable val : values) {
                sum += val.get();
            }
            result.set(sum);
            context.write(key, result);
        }
    }

    public static void main(String[] args) throws Exception {
        Configuration conf = new Configuration();
        Job job = Job.getInstance(conf, "word count");
        job.setJarByClass(WordCount.class);
        job.setMapperClass(TokenizerMapper.class);
        job.setCombinerClass(IntSumReducer.class);
        job.setReducerClass(IntSumReducer.class);
        job.setOutputKeyClass(Text.class);
        job.setOutputValueClass(IntWritable.class);
        FileInputFormat.addInputPath(job, new Path(args[0]));
        FileOutputFormat.setOutputPath(job, new Path(args[1]));
        System.exit(job.waitForCompletion(true) ? 0 : 1);
    }
}

Explicación del Código

TokenizerMapper: Esta clase extiende Mapper y sobrescribe el método map. Divide cada línea de texto en palabras y emite un par clave-valor (palabra, 1).
IntSumReducer: Esta clase extiende Reducer y sobrescribe el método reduce. Suma los valores para cada clave (palabra) y emite el resultado final.
Main Method: Configura el trabajo MapReduce, especifica las clases de mapeo y reducción, y define las rutas de entrada y salida.

Retroalimentación y Consejos

Error Común: Asegúrate de que las rutas de entrada y salida sean correctas y que el directorio de salida no exista antes de ejecutar el trabajo.
Consejo: Utiliza un combinador (como IntSumReducer en este ejemplo) para reducir la cantidad de datos transferidos entre las fases de mapeo y reducción, mejorando así el rendimiento.

Conclusión

En esta lección, hemos introducido el modelo de programación MapReduce y hemos visto cómo se puede utilizar para procesar grandes volúmenes de datos de manera distribuida. Hemos cubierto las fases de mapeo y reducción, y hemos implementado un ejemplo práctico de conteo de palabras. En la próxima lección, profundizaremos en el flujo de trabajo de un job MapReduce y exploraremos técnicas avanzadas para optimizar el rendimiento de MapReduce.

Introducción a MapReduce

¿Qué es MapReduce?

Fases de MapReduce

Ejemplo Práctico

Paso 1: Datos de Entrada

Paso 2: Fase de Mapeo

Paso 3: Fase de Reducción

Ventajas de MapReduce

Desventajas de MapReduce

Ejercicio Práctico

Ejercicio 1: Conteo de Palabras

Solución

Explicación del Código

Retroalimentación y Consejos

Conclusión

Curso de Hadoop

Módulo 1: Introducción a Hadoop

Módulo 2: Arquitectura de Hadoop

Módulo 3: HDFS (Sistema de Archivos Distribuido de Hadoop)

Módulo 4: Programación MapReduce

Módulo 5: Herramientas del Ecosistema Hadoop

Módulo 6: Conceptos Avanzados de Hadoop

Módulo 7: Aplicaciones del Mundo Real y Estudios de Caso

Módulo 8: Proyectos Prácticos