Apache Hive es una herramienta de almacenamiento de datos construida sobre Hadoop que facilita la consulta y el análisis de grandes conjuntos de datos almacenados en el HDFS (Hadoop Distributed File System). Hive proporciona una interfaz similar a SQL llamada HiveQL, que permite a los usuarios escribir consultas SQL para interactuar con los datos.

• Comprender qué es Apache Hive y su propósito.
• Aprender a instalar y configurar Apache Hive.
• Familiarizarse con la sintaxis básica de HiveQL.
• Realizar operaciones básicas de consulta y manipulación de datos en Hive.

Apache Hive es un sistema de almacenamiento de datos que facilita la lectura, escritura y gestión de grandes conjuntos de datos residiendo en almacenamiento distribuido utilizando SQL. Hive abstrae la complejidad de MapReduce y permite a los usuarios realizar consultas SQL sobre datos almacenados en HDFS.

• Interfaz SQL (HiveQL): Permite a los usuarios escribir consultas SQL para interactuar con los datos.
• Escalabilidad: Diseñado para manejar grandes volúmenes de datos.
• Extensibilidad: Soporta funciones definidas por el usuario (UDFs) para operaciones personalizadas.
• Compatibilidad con Hadoop: Se integra perfectamente con el ecosistema Hadoop.

• Hadoop instalado y configurado.
• Java JDK instalado.

1. Descargar Apache Hive:

   wget https://downloads.apache.org/hive/hive-3.1.2/apache-hive-3.1.2-bin.tar.gz
   

2. Extraer el archivo descargado:

   tar -xzvf apache-hive-3.1.2-bin.tar.gz
   

3. Mover el directorio extraído a una ubicación deseada:

   mv apache-hive-3.1.2-bin /usr/local/hive
   

4. Configurar las variables de entorno: Añadir las siguientes líneas al archivo .bashrc o .zshrc:

   export HIVE_HOME=/usr/local/hive
   export PATH=$PATH:$HIVE_HOME/bin
   

5. Configurar Hive: Crear el archivo hive-site.xml en el directorio conf de Hive y añadir la configuración básica:

   <configuration>
       <property>
           <name>javax.jdo.option.ConnectionURL</name>
           <value>jdbc:derby:;databaseName=metastore_db;create=true</value>
           <description>JDBC connect string for a JDBC metastore</description>
       </property>
       <property>
           <name>javax.jdo.option.ConnectionDriverName</name>
           <value>org.apache.derby.jdbc.EmbeddedDriver</value>
           <description>Driver class name for a JDBC metastore</description>
       </property>
       <property>
           <name>javax.jdo.option.ConnectionUserName</name>
           <value>APP</value>
           <description>username to use against metastore database</description>
       </property>
       <property>
           <name>javax.jdo.option.ConnectionPassword</name>
           <value>mine</value>
           <description>password to use against metastore database</description>
       </property>
   </configuration>
   

6. Iniciar Hive:

   hive
   

Hive no soporta actualizaciones directas en las tablas. En su lugar, se recomienda crear una nueva tabla con los datos actualizados.

1. Crear la tabla de ventas:

   CREATE TABLE ventas (
       id INT,
       producto STRING,
       cantidad INT,
       precio FLOAT
   )
   ROW FORMAT DELIMITED
   FIELDS TERMINATED BY ','
   STORED AS TEXTFILE;
   

2. Cargar datos en la tabla de ventas:

   LOAD DATA LOCAL INPATH '/path/to/ventas.csv' INTO TABLE ventas;
   

3. Consultar las ventas totales por producto:

   SELECT producto, SUM(cantidad * precio) AS total_ventas
   FROM ventas
   GROUP BY producto;
   

1. Crear una tabla llamada empleados con las siguientes columnas:

   • id (INT)
   • nombre (STRING)
   • departamento (STRING)
   • salario (FLOAT)

2. Cargar datos en la tabla empleados desde un archivo CSV.

3. Consultar los empleados que ganan más de 50,000.

1. Crear la tabla empleados:

   CREATE TABLE empleados (
       id INT,
       nombre STRING,
       departamento STRING,
       salario FLOAT
   )
   ROW FORMAT DELIMITED
   FIELDS TERMINATED BY ','
   STORED AS TEXTFILE;
   

2. Cargar datos en la tabla empleados:

   LOAD DATA LOCAL INPATH '/path/to/empleados.csv' INTO TABLE empleados;
   

3. Consultar empleados con salario mayor a 50,000:

   SELECT * FROM empleados WHERE salario > 50000;
   

En esta sección, hemos aprendido sobre Apache Hive, su propósito y cómo se integra con el ecosistema Hadoop. Hemos cubierto la instalación y configuración de Hive, así como la sintaxis básica de HiveQL para crear, cargar y consultar datos. Los ejercicios prácticos proporcionados ayudan a reforzar los conceptos aprendidos y a familiarizarse con el uso de Hive en escenarios del mundo real.

En el próximo módulo, exploraremos Apache HBase, otra herramienta poderosa del ecosistema Hadoop para el almacenamiento y la gestión de grandes volúmenes de datos.