El Proyecto | Sobre nosotros | Contribuir | Donaciones | Licencia
HOME Mis cursos Finalizados
◄ Anterior
◄

Apache Kafka

Siguiente ►
►

Apache Kafka es una plataforma de transmisión de datos distribuida que permite la publicación, suscripción, almacenamiento y procesamiento de flujos de registros en tiempo real. Es ampliamente utilizada para construir pipelines de datos en tiempo real y aplicaciones de streaming.

Conceptos Básicos de Apache Kafka

  1. ¿Qué es Apache Kafka?

Apache Kafka es una plataforma de mensajería distribuida que permite manejar flujos de datos en tiempo real. Fue desarrollado originalmente por LinkedIn y luego donado a la Apache Software Foundation.

  1. Componentes Principales de Kafka

  • Broker: Un servidor Kafka que almacena datos y sirve a los consumidores.
  • Topic: Categoría o feed a la que los registros son enviados. Los datos en Kafka se organizan en topics.
  • Partition: Cada topic se divide en particiones, lo que permite la paralelización del procesamiento.
  • Producer: Publica datos en los topics.
  • Consumer: Suscribe y consume datos de los topics.
  • Zookeeper: Coordina y gestiona el clúster de Kafka.

  1. Arquitectura de Kafka

Kafka sigue una arquitectura distribuida y escalable. Los datos se distribuyen en múltiples brokers y particiones, lo que permite una alta disponibilidad y tolerancia a fallos.

Instalación y Configuración Básica

  1. Instalación de Kafka

Para instalar Kafka, primero necesitas tener instalado Java y Zookeeper. Aquí hay un ejemplo de cómo instalar Kafka en un sistema Unix:

# Descargar Kafka
wget https://downloads.apache.org/kafka/2.8.0/kafka_2.13-2.8.0.tgz
# Descomprimir el archivo
tar -xzf kafka_2.13-2.8.0.tgz
# Mover a la carpeta de Kafka
cd kafka_2.13-2.8.0

  1. Configuración de Zookeeper

Kafka utiliza Zookeeper para la coordinación del clúster. Inicia Zookeeper con el siguiente comando:

# Iniciar Zookeeper
bin/zookeeper-server-start.sh config/zookeeper.properties

  1. Configuración de Kafka

Después de iniciar Zookeeper, puedes iniciar el servidor Kafka:

# Iniciar Kafka
bin/kafka-server-start.sh config/server.properties

Operaciones Básicas en Kafka

  1. Crear un Topic

Para crear un topic en Kafka, usa el siguiente comando:

bin/kafka-topics.sh --create --topic my-topic --bootstrap-server localhost:9092 --partitions 3 --replication-factor 1

  1. Listar Topics

Para listar todos los topics disponibles:

bin/kafka-topics.sh --list --bootstrap-server localhost:9092

  1. Enviar Mensajes (Producer)

Para enviar mensajes a un topic:

bin/kafka-console-producer.sh --topic my-topic --bootstrap-server localhost:9092

  1. Leer Mensajes (Consumer)

Para leer mensajes de un topic:

bin/kafka-console-consumer.sh --topic my-topic --from-beginning --bootstrap-server localhost:9092

Ejemplo Práctico: Pipeline de Datos en Tiempo Real

  1. Configuración del Producer

Vamos a crear un productor que envíe datos de sensores a un topic en Kafka.

from kafka import KafkaProducer
import json
import time

producer = KafkaProducer(bootstrap_servers='localhost:9092',
                         value_serializer=lambda v: json.dumps(v).encode('utf-8'))

sensor_data = {'sensor_id': 1, 'temperature': 22.5, 'humidity': 45}

while True:
    producer.send('sensor-data', sensor_data)
    time.sleep(5)

  1. Configuración del Consumer

Ahora, creamos un consumidor que lea los datos del topic y los procese.

from kafka import KafkaConsumer
import json

consumer = KafkaConsumer('sensor-data',
                         bootstrap_servers='localhost:9092',
                         auto_offset_reset='earliest',
                         value_deserializer=lambda x: json.loads(x.decode('utf-8')))

for message in consumer:
    sensor_data = message.value
    print(f"Received data: {sensor_data}")

Ejercicios Prácticos

Ejercicio 1: Crear y Configurar un Topic

  1. Crea un topic llamado user-activity con 4 particiones y un factor de replicación de 1.
  2. Envía mensajes simulando actividades de usuario (login, logout, etc.) al topic user-activity.
  3. Configura un consumidor que lea y procese estos mensajes.

Solución del Ejercicio 1

  1. Crear el topic:
bin/kafka-topics.sh --create --topic user-activity --bootstrap-server localhost:9092 --partitions 4 --replication-factor 1
  1. Enviar mensajes:
bin/kafka-console-producer.sh --topic user-activity --bootstrap-server localhost:9092
# Escribir mensajes manualmente en la consola
  1. Configurar el consumidor:
bin/kafka-console-consumer.sh --topic user-activity --from-beginning --bootstrap-server localhost:9092

Conclusión

En esta sección, hemos cubierto los conceptos básicos de Apache Kafka, su arquitectura, instalación y configuración, así como algunas operaciones básicas y un ejemplo práctico. Kafka es una herramienta poderosa para manejar flujos de datos en tiempo real y es esencial para construir pipelines de datos robustos y escalables. En el siguiente módulo, exploraremos otras herramientas y plataformas que complementan el ecosistema de procesamiento de datos masivos.

◄ Anterior
◄
Siguiente ►
►

Procesamiento de Datos Masivos

Módulo 1: Introducción al Procesamiento de Datos Masivos

Módulo 2: Tecnologías de Almacenamiento

Módulo 3: Técnicas de Procesamiento

Módulo 4: Herramientas y Plataformas

Módulo 5: Optimización del Almacenamiento y Procesamiento

Módulo 6: Análisis de Datos Masivos

Módulo 7: Casos de Estudio y Aplicaciones Prácticas

Módulo 8: Buenas Prácticas y Futuro del Procesamiento de Datos Masivos

El Proyecto | Sobre nosotros | Contribuir | Donaciones | Licencia
© Copyright 2024. Todos los derechos reservados