El Proyecto | Sobre nosotros | Contribuir | Donaciones | Licencia
HOME Mis cursos Finalizados
◄ Anterior
◄

Apache HBase

Siguiente ►
►

Introducción a Apache HBase

Apache HBase es una base de datos NoSQL distribuida, diseñada para manejar grandes cantidades de datos en un entorno distribuido. Es parte del ecosistema Hadoop y se ejecuta sobre HDFS (Hadoop Distributed File System). HBase está inspirado en Bigtable de Google y proporciona capacidades de lectura y escritura en tiempo real.

Características Clave de HBase

  • Modelo de Datos: HBase almacena datos en tablas con filas y columnas, similar a una base de datos relacional, pero con una estructura más flexible.
  • Escalabilidad: Diseñado para escalar horizontalmente, HBase puede manejar petabytes de datos distribuidos en miles de servidores.
  • Consistencia: Proporciona consistencia fuerte para operaciones de lectura y escritura.
  • Integración con Hadoop: Se integra perfectamente con otros componentes del ecosistema Hadoop, como MapReduce, Hive y Pig.

Arquitectura de HBase

HBase sigue una arquitectura maestro-esclavo. A continuación, se describen los componentes principales:

Componentes Principales

  1. HMaster:

    • Coordina las operaciones de la base de datos.
    • Gestiona la distribución de las regiones entre los servidores de región.
    • Maneja la carga y descarga de regiones.

  2. RegionServer:

    • Maneja las operaciones de lectura y escritura en las regiones.
    • Cada RegionServer puede manejar múltiples regiones.

  3. Zookeeper:

    • Proporciona servicios de coordinación y gestión de configuración.
    • Ayuda a HMaster a rastrear los RegionServers activos.

  4. HDFS:

    • Sistema de almacenamiento subyacente para HBase.
    • Almacena los archivos de datos y los archivos de registro de HBase.

Diagrama de Arquitectura

+-------------------+
|      Client       |
+--------+----------+
         |
         v
+--------+----------+
|      HMaster      |
+--------+----------+
         |
         v
+--------+----------+
|     Zookeeper     |
+--------+----------+
         |
         v
+--------+----------+
|   RegionServer    |
+--------+----------+
         |
         v
+--------+----------+
|       HDFS        |
+-------------------+

Modelo de Datos en HBase

Tabla

  • Filas: Cada fila está identificada por una clave de fila única.
  • Columnas: Las columnas están organizadas en familias de columnas.
  • Celdas: La intersección de una fila y una columna contiene una celda, que puede almacenar múltiples versiones de datos.

Ejemplo de Tabla

Row Key Family:Qualifier Value Timestamp
row1 info:name Alice 1622547800
row1 info:age 30 1622547800
row2 info:name Bob 1622547800
row2 info:age 25 1622547800

Operaciones Básicas en HBase

Crear una Tabla

import org.apache.hadoop.hbase.HBaseConfiguration;
import org.apache.hadoop.hbase.client.Admin;
import org.apache.hadoop.hbase.client.Connection;
import org.apache.hadoop.hbase.client.ConnectionFactory;
import org.apache.hadoop.hbase.HTableDescriptor;
import org.apache.hadoop.hbase.HColumnDescriptor;
import org.apache.hadoop.hbase.TableName;

public class CreateTable {
    public static void main(String[] args) throws Exception {
        // Configuración de HBase
        org.apache.hadoop.conf.Configuration config = HBaseConfiguration.create();
        Connection connection = ConnectionFactory.createConnection(config);
        Admin admin = connection.getAdmin();

        // Definición de la tabla
        HTableDescriptor tableDescriptor = new HTableDescriptor(TableName.valueOf("my_table"));
        tableDescriptor.addFamily(new HColumnDescriptor("info"));

        // Creación de la tabla
        admin.createTable(tableDescriptor);
        System.out.println("Tabla creada con éxito.");

        // Cierre de la conexión
        admin.close();
        connection.close();
    }
}

Insertar Datos

import org.apache.hadoop.hbase.HBaseConfiguration;
import org.apache.hadoop.hbase.client.Connection;
import org.apache.hadoop.hbase.client.ConnectionFactory;
import org.apache.hadoop.hbase.client.Put;
import org.apache.hadoop.hbase.client.Table;
import org.apache.hadoop.hbase.util.Bytes;

public class InsertData {
    public static void main(String[] args) throws Exception {
        // Configuración de HBase
        org.apache.hadoop.conf.Configuration config = HBaseConfiguration.create();
        Connection connection = ConnectionFactory.createConnection(config);
        Table table = connection.getTable(TableName.valueOf("my_table"));

        // Creación de un objeto Put
        Put put = new Put(Bytes.toBytes("row1"));
        put.addColumn(Bytes.toBytes("info"), Bytes.toBytes("name"), Bytes.toBytes("Alice"));
        put.addColumn(Bytes.toBytes("info"), Bytes.toBytes("age"), Bytes.toBytes(30));

        // Inserción de datos
        table.put(put);
        System.out.println("Datos insertados con éxito.");

        // Cierre de la conexión
        table.close();
        connection.close();
    }
}

Leer Datos

import org.apache.hadoop.hbase.HBaseConfiguration;
import org.apache.hadoop.hbase.client.Connection;
import org.apache.hadoop.hbase.client.ConnectionFactory;
import org.apache.hadoop.hbase.client.Get;
import org.apache.hadoop.hbase.client.Result;
import org.apache.hadoop.hbase.client.Table;
import org.apache.hadoop.hbase.util.Bytes;

public class ReadData {
    public static void main(String[] args) throws Exception {
        // Configuración de HBase
        org.apache.hadoop.conf.Configuration config = HBaseConfiguration.create();
        Connection connection = ConnectionFactory.createConnection(config);
        Table table = connection.getTable(TableName.valueOf("my_table"));

        // Creación de un objeto Get
        Get get = new Get(Bytes.toBytes("row1"));
        Result result = table.get(get);

        // Lectura de datos
        byte[] name = result.getValue(Bytes.toBytes("info"), Bytes.toBytes("name"));
        byte[] age = result.getValue(Bytes.toBytes("info"), Bytes.toBytes("age"));

        System.out.println("Nombre: " + Bytes.toString(name));
        System.out.println("Edad: " + Bytes.toInt(age));

        // Cierre de la conexión
        table.close();
        connection.close();
    }
}

Ejercicio Práctico

Ejercicio 1: Crear y Manipular una Tabla en HBase

Objetivo: Crear una tabla en HBase, insertar datos y leer los datos insertados.

Pasos:

  1. Crear una Tabla:

    • Nombre de la tabla: students
    • Familia de columnas: details

  2. Insertar Datos:

    • Insertar una fila con clave student1 y columnas details:name y details:age.

  3. Leer Datos:

    • Leer los datos de la fila student1 y mostrar el nombre y la edad.

Solución:

import org.apache.hadoop.hbase.HBaseConfiguration;
import org.apache.hadoop.hbase.client.*;
import org.apache.hadoop.hbase.util.Bytes;
import org.apache.hadoop.hbase.HTableDescriptor;
import org.apache.hadoop.hbase.HColumnDescriptor;
import org.apache.hadoop.hbase.TableName;

public class HBaseExercise {
    public static void main(String[] args) throws Exception {
        // Configuración de HBase
        org.apache.hadoop.conf.Configuration config = HBaseConfiguration.create();
        Connection connection = ConnectionFactory.createConnection(config);
        Admin admin = connection.getAdmin();

        // 1. Crear una Tabla
        HTableDescriptor tableDescriptor = new HTableDescriptor(TableName.valueOf("students"));
        tableDescriptor.addFamily(new HColumnDescriptor("details"));
        admin.createTable(tableDescriptor);
        System.out.println("Tabla 'students' creada con éxito.");

        // 2. Insertar Datos
        Table table = connection.getTable(TableName.valueOf("students"));
        Put put = new Put(Bytes.toBytes("student1"));
        put.addColumn(Bytes.toBytes("details"), Bytes.toBytes("name"), Bytes.toBytes("John Doe"));
        put.addColumn(Bytes.toBytes("details"), Bytes.toBytes("age"), Bytes.toBytes(20));
        table.put(put);
        System.out.println("Datos insertados con éxito en la tabla 'students'.");

        // 3. Leer Datos
        Get get = new Get(Bytes.toBytes("student1"));
        Result result = table.get(get);
        byte[] name = result.getValue(Bytes.toBytes("details"), Bytes.toBytes("name"));
        byte[] age = result.getValue(Bytes.toBytes("details"), Bytes.toBytes("age"));
        System.out.println("Nombre: " + Bytes.toString(name));
        System.out.println("Edad: " + Bytes.toInt(age));

        // Cierre de la conexión
        table.close();
        admin.close();
        connection.close();
    }
}

Conclusión

En esta sección, hemos explorado Apache HBase, una base de datos NoSQL distribuida que se integra con el ecosistema Hadoop. Hemos cubierto su arquitectura, modelo de datos y operaciones básicas. Además, hemos proporcionado un ejercicio práctico para reforzar los conceptos aprendidos. En el siguiente módulo, exploraremos otra herramienta del ecosistema Hadoop: Apache Sqoop.

◄ Anterior
◄
Siguiente ►
►
El Proyecto | Sobre nosotros | Contribuir | Donaciones | Licencia
© Copyright 2024. Todos los derechos reservados