La replicación de datos es una característica fundamental del Sistema de Archivos Distribuido de Hadoop (HDFS) que garantiza la disponibilidad y la tolerancia a fallos de los datos almacenados. En esta sección, exploraremos cómo funciona la replicación en HDFS, sus beneficios y cómo configurarla.

1. Bloques de Datos: En HDFS, los archivos se dividen en bloques de tamaño fijo (por defecto, 128 MB). Cada bloque se almacena en múltiples nodos del clúster para asegurar la redundancia.
2. Factor de Replicación: Es el número de copias de cada bloque de datos que se almacenan en el clúster. El valor por defecto es 3, lo que significa que cada bloque se replica en tres nodos diferentes.
3. Nodos de Datos (DataNodes): Son los nodos del clúster donde se almacenan físicamente los bloques de datos.
4. Nodo Maestro (NameNode): Es el nodo que gestiona la metadata del sistema de archivos y la ubicación de los bloques replicados.

1. División en Bloques: Cuando un archivo se escribe en HDFS, se divide en bloques de tamaño fijo.
2. Asignación de Bloques: El NameNode asigna cada bloque a varios DataNodes según el factor de replicación.
3. Escritura en DataNodes: El cliente escribe el bloque en el primer DataNode, que a su vez replica el bloque en el segundo DataNode, y así sucesivamente hasta alcanzar el factor de replicación.

1. Solicitud de Lectura: Cuando un cliente solicita leer un archivo, el NameNode proporciona la ubicación de los bloques replicados.
2. Selección de Réplica: El cliente selecciona la réplica más cercana (generalmente basada en la latencia de red) para leer los datos.

El factor de replicación se puede configurar a nivel global o por archivo. A continuación, se muestra cómo hacerlo:

El factor de replicación global se define en el archivo de configuración hdfs-site.xml:

El factor de replicación también se puede establecer para archivos específicos utilizando el comando hdfs dfs:

Este comando establece el factor de replicación a 2 para el archivo especificado.

1. Crear un Archivo de Ejemplo:

   echo "Este es un archivo de ejemplo para HDFS" > ejemplo.txt
   

2. Copiar el Archivo a HDFS:

   hdfs dfs -put ejemplo.txt /user/tu_usuario/ejemplo.txt
   

3. Verificar el Factor de Replicación:

   hdfs fsck /user/tu_usuario/ejemplo.txt -files -blocks -locations
   

   Este comando muestra la ubicación de los bloques y su factor de replicación.

1. Establecer un Nuevo Factor de Replicación:

   hdfs dfs -setrep -w 2 /user/tu_usuario/ejemplo.txt
   

2. Verificar el Cambio:

   hdfs fsck /user/tu_usuario/ejemplo.txt -files -blocks -locations
   

   Verifica que el factor de replicación se haya actualizado a 2.

1. Objetivo: Configurar el factor de replicación de un archivo en HDFS y verificar su replicación.
2. Pasos:
   • Crear un archivo de texto en tu sistema local.
   • Copiar el archivo a HDFS.
   • Verificar el factor de replicación por defecto.
   • Cambiar el factor de replicación a 2.
   • Verificar el nuevo factor de replicación.

1. Crear un Archivo de Texto:

   echo "Este es un archivo de ejemplo para HDFS" > ejemplo.txt
   

2. Copiar el Archivo a HDFS:

   hdfs dfs -put ejemplo.txt /user/tu_usuario/ejemplo.txt
   

3. Verificar el Factor de Replicación por Defecto:

   hdfs fsck /user/tu_usuario/ejemplo.txt -files -blocks -locations
   

4. Cambiar el Factor de Replicación a 2:

   hdfs dfs -setrep -w 2 /user/tu_usuario/ejemplo.txt
   

5. Verificar el Nuevo Factor de Replicación:

   hdfs fsck /user/tu_usuario/ejemplo.txt -files -blocks -locations
   

La replicación de datos en HDFS es esencial para garantizar la disponibilidad y la tolerancia a fallos en un entorno distribuido. Comprender cómo funciona la replicación y cómo configurarla te permitirá gestionar de manera efectiva tus datos en HDFS. En la próxima sección, exploraremos la tolerancia a fallos en HDFS y cómo HDFS maneja los fallos de nodos y bloques.