En este módulo, nos enfocaremos en aplicar los conocimientos adquiridos a través de proyectos prácticos. Estos proyectos están diseñados para proporcionar experiencia práctica en el manejo de grandes volúmenes de datos, utilizando diversas tecnologías y herramientas de Big Data. Cada proyecto incluirá una descripción del problema, los datos necesarios, las herramientas recomendadas y una guía paso a paso para su implementación.

El objetivo de este proyecto es analizar los sentimientos expresados en las redes sociales sobre un tema específico. Utilizaremos técnicas de procesamiento de lenguaje natural (NLP) y herramientas de Big Data para extraer, procesar y analizar los datos.

• Tweets o publicaciones de redes sociales sobre un tema específico.
• Diccionario de sentimientos (por ejemplo, VADER o TextBlob).

• Apache Spark para procesamiento de datos.
• NLTK o spaCy para procesamiento de lenguaje natural.
• Jupyter Notebook para análisis y visualización.

1. Recopilación de Datos

   • Utiliza la API de Twitter o una herramienta similar para recopilar tweets sobre el tema elegido.
   • Guarda los datos en un formato estructurado, como CSV o JSON.

2. Preprocesamiento de Datos

   • Limpia los datos eliminando duplicados, enlaces, menciones y otros elementos no relevantes.
   • Tokeniza los textos y elimina palabras vacías (stop words).

   import pandas as pd
   from nltk.corpus import stopwords
   from nltk.tokenize import word_tokenize
   import re
   
   # Cargar datos
   df = pd.read_csv('tweets.csv')
   
   # Función de limpieza
   def clean_text(text):
       text = re.sub(r'http\S+', '', text)  # Eliminar URLs
       text = re.sub(r'@\w+', '', text)     # Eliminar menciones
       text = re.sub(r'#', '', text)        # Eliminar hashtags
       text = re.sub(r'\W', ' ', text)      # Eliminar caracteres especiales
       text = text.lower()                  # Convertir a minúsculas
       return text
   
   df['cleaned_text'] = df['text'].apply(clean_text)
   
   # Tokenización y eliminación de stop words
   stop_words = set(stopwords.words('english'))
   df['tokens'] = df['cleaned_text'].apply(lambda x: [word for word in word_tokenize(x) if word not in stop_words])
   

3. Análisis de Sentimientos

   • Utiliza una biblioteca de NLP para analizar los sentimientos de los textos.

   from nltk.sentiment.vader import SentimentIntensityAnalyzer
   
   sid = SentimentIntensityAnalyzer()
   df['sentiment'] = df['cleaned_text'].apply(lambda x: sid.polarity_scores(x)['compound'])
   
   # Clasificar sentimientos
   df['sentiment_label'] = df['sentiment'].apply(lambda x: 'positive' if x > 0 else ('negative' if x < 0 else 'neutral'))
   

4. Visualización de Resultados

   • Utiliza herramientas de visualización para mostrar los resultados del análisis de sentimientos.

   import matplotlib.pyplot as plt
   import seaborn as sns
   
   sns.countplot(x='sentiment_label', data=df)
   plt.title('Distribución de Sentimientos')
   plt.show()
   

• Tarea: Realiza un análisis de sentimientos sobre un tema de tu elección utilizando los pasos descritos anteriormente.
• Solución: Asegúrate de seguir cada paso y verifica tus resultados con visualizaciones adecuadas.

Este proyecto se centra en analizar los datos de ventas de una tienda en línea para identificar patrones y tendencias. Utilizaremos técnicas de análisis de datos y herramientas de Big Data para procesar y visualizar los datos.

• Datos de ventas de la tienda en línea (por ejemplo, CSV con columnas como fecha, producto, cantidad, precio, etc.).

• Apache Hadoop para almacenamiento y procesamiento de datos.
• Apache Hive para consultas SQL.
• Tableau o Power BI para visualización.

1. Carga de Datos en HDFS

   • Transfiere los datos de ventas al sistema de archivos distribuido Hadoop (HDFS).

   hdfs dfs -put sales_data.csv /user/hadoop/sales_data/
   

2. Creación de Tabla en Hive

   • Crea una tabla en Hive para almacenar los datos de ventas.

   CREATE TABLE sales_data (
       date STRING,
       product STRING,
       quantity INT,
       price FLOAT
   )
   ROW FORMAT DELIMITED
   FIELDS TERMINATED BY ','
   STORED AS TEXTFILE;
   
   LOAD DATA INPATH '/user/hadoop/sales_data/sales_data.csv' INTO TABLE sales_data;
   

3. Análisis de Datos con Hive

   • Realiza consultas SQL para analizar los datos de ventas.

   -- Total de ventas por producto
   SELECT product, SUM(quantity * price) as total_sales
   FROM sales_data
   GROUP BY product
   ORDER BY total_sales DESC;
   
   -- Ventas mensuales
   SELECT MONTH(date) as month, SUM(quantity * price) as monthly_sales
   FROM sales_data
   GROUP BY MONTH(date)
   ORDER BY month;
   

4. Visualización de Resultados

   • Utiliza Tableau o Power BI para crear dashboards interactivos con los resultados del análisis.

• Tarea: Realiza un análisis de ventas utilizando los pasos descritos anteriormente y crea un dashboard interactivo.
• Solución: Asegúrate de cargar correctamente los datos en HDFS, realizar las consultas en Hive y visualizar los resultados en Tableau o Power BI.

En esta sección, hemos cubierto dos proyectos prácticos que te permitirán aplicar los conocimientos adquiridos en el curso de Big Data. Estos proyectos te ayudarán a desarrollar habilidades prácticas en el manejo y análisis de grandes volúmenes de datos utilizando diversas herramientas y tecnologías. Asegúrate de completar los ejercicios prácticos para reforzar tu comprensión y preparación para enfrentar desafíos reales en el campo de Big Data.