El Proyecto | Sobre nosotros | Contribuir | Donaciones | Licencia

HOME

En este módulo, aprenderemos sobre dos componentes fundamentales de Apache Kafka: los productores y los consumidores. Estos elementos son esenciales para entender cómo se envían y reciben mensajes en un sistema Kafka.

¿Qué es un Productor?

Un productor es cualquier aplicación que publica mensajes en uno o más temas de Kafka. Los productores son responsables de enviar datos a Kafka, y pueden ser configurados para enviar mensajes de manera síncrona o asíncrona.

Características de los Productores:

Envío de Mensajes: Los productores envían mensajes a temas específicos en Kafka.
Particionamiento: Los mensajes pueden ser enviados a particiones específicas dentro de un tema.
Confirmación de Envío: Los productores pueden configurarse para esperar confirmaciones de recepción de los mensajes por parte de los brokers.

Ejemplo de un Productor en Java:

import org.apache.kafka.clients.producer.KafkaProducer;
import org.apache.kafka.clients.producer.ProducerRecord;
import org.apache.kafka.clients.producer.ProducerConfig;
import org.apache.kafka.common.serialization.StringSerializer;

import java.util.Properties;

public class SimpleProducer {
    public static void main(String[] args) {
        // Configuración del productor
        Properties props = new Properties();
        props.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG, "localhost:9092");
        props.put(ProducerConfig.KEY_SERIALIZER_CLASS_CONFIG, StringSerializer.class.getName());
        props.put(ProducerConfig.VALUE_SERIALIZER_CLASS_CONFIG, StringSerializer.class.getName());

        // Creación del productor
        KafkaProducer<String, String> producer = new KafkaProducer<>(props);

        // Envío de un mensaje
        ProducerRecord<String, String> record = new ProducerRecord<>("my-topic", "key", "Hello, Kafka!");
        producer.send(record);

        // Cierre del productor
        producer.close();
    }
}

Explicación del Código:

Configuración del Productor: Se configuran las propiedades del productor, incluyendo la dirección del broker y los serializadores para las claves y valores.
Creación del Productor: Se crea una instancia de KafkaProducer con las propiedades configuradas.
Envío de un Mensaje: Se crea un ProducerRecord con el tema, la clave y el valor del mensaje, y se envía utilizando el método send.
Cierre del Productor: Se cierra el productor para liberar los recursos.

¿Qué es un Consumidor?

Un consumidor es cualquier aplicación que suscribe a uno o más temas y procesa los mensajes publicados en esos temas. Los consumidores son responsables de leer los datos de Kafka y pueden ser configurados para leer mensajes de manera síncrona o asíncrona.

Características de los Consumidores:

Suscripción a Temas: Los consumidores se suscriben a uno o más temas para recibir mensajes.
Grupos de Consumidores: Los consumidores pueden formar parte de un grupo de consumidores, lo que permite la distribución de la carga de trabajo.
Desplazamientos: Los consumidores mantienen un registro de los desplazamientos (offsets) de los mensajes que han leído.

Ejemplo de un Consumidor en Java:

import org.apache.kafka.clients.consumer.KafkaConsumer;
import org.apache.kafka.clients.consumer.ConsumerRecords;
import org.apache.kafka.clients.consumer.ConsumerConfig;
import org.apache.kafka.clients.consumer.ConsumerRecord;
import org.apache.kafka.common.serialization.StringDeserializer;

import java.util.Collections;
import java.util.Properties;

public class SimpleConsumer {
    public static void main(String[] args) {
        // Configuración del consumidor
        Properties props = new Properties();
        props.put(ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG, "localhost:9092");
        props.put(ConsumerConfig.GROUP_ID_CONFIG, "my-group");
        props.put(ConsumerConfig.KEY_DESERIALIZER_CLASS_CONFIG, StringDeserializer.class.getName());
        props.put(ConsumerConfig.VALUE_DESERIALIZER_CLASS_CONFIG, StringDeserializer.class.getName());

        // Creación del consumidor
        KafkaConsumer<String, String> consumer = new KafkaConsumer<>(props);

        // Suscripción a un tema
        consumer.subscribe(Collections.singletonList("my-topic"));

        // Lectura de mensajes
        while (true) {
            ConsumerRecords<String, String> records = consumer.poll(100);
            for (ConsumerRecord<String, String> record : records) {
                System.out.printf("offset = %d, key = %s, value = %s%n", record.offset(), record.key(), record.value());
            }
        }
    }
}

Explicación del Código:

Configuración del Consumidor: Se configuran las propiedades del consumidor, incluyendo la dirección del broker, el ID del grupo de consumidores y los deserializadores para las claves y valores.
Creación del Consumidor: Se crea una instancia de KafkaConsumer con las propiedades configuradas.
Suscripción a un Tema: El consumidor se suscribe a un tema utilizando el método subscribe.
Lectura de Mensajes: Se utiliza un bucle infinito para leer mensajes del tema. El método poll se utiliza para obtener los registros, y se procesan los mensajes dentro del bucle.

Ejercicio Práctico

Ejercicio 1: Crear un Productor y un Consumidor

Objetivo: Crear un productor que envíe mensajes a un tema y un consumidor que lea esos mensajes.

Instrucciones:

Configura un productor que envíe mensajes a un tema llamado "test-topic".
Configura un consumidor que se suscriba a "test-topic" y procese los mensajes.

Solución:

Productor:

import org.apache.kafka.clients.producer.KafkaProducer;
import org.apache.kafka.clients.producer.ProducerRecord;
import org.apache.kafka.clients.producer.ProducerConfig;
import org.apache.kafka.common.serialization.StringSerializer;

import java.util.Properties;

public class TestProducer {
    public static void main(String[] args) {
        Properties props = new Properties();
        props.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG, "localhost:9092");
        props.put(ProducerConfig.KEY_SERIALIZER_CLASS_CONFIG, StringSerializer.class.getName());
        props.put(ProducerConfig.VALUE_SERIALIZER_CLASS_CONFIG, StringSerializer.class.getName());

        KafkaProducer<String, String> producer = new KafkaProducer<>(props);

        for (int i = 0; i < 10; i++) {
            ProducerRecord<String, String> record = new ProducerRecord<>("test-topic", "key-" + i, "message-" + i);
            producer.send(record);
        }

        producer.close();
    }
}

Consumidor:

import org.apache.kafka.clients.consumer.KafkaConsumer;
import org.apache.kafka.clients.consumer.ConsumerRecords;
import org.apache.kafka.clients.consumer.ConsumerConfig;
import org.apache.kafka.clients.consumer.ConsumerRecord;
import org.apache.kafka.common.serialization.StringDeserializer;

import java.util.Collections;
import java.util.Properties;

public class TestConsumer {
    public static void main(String[] args) {
        Properties props = new Properties();
        props.put(ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG, "localhost:9092");
        props.put(ConsumerConfig.GROUP_ID_CONFIG, "test-group");
        props.put(ConsumerConfig.KEY_DESERIALIZER_CLASS_CONFIG, StringDeserializer.class.getName());
        props.put(ConsumerConfig.VALUE_DESERIALIZER_CLASS_CONFIG, StringDeserializer.class.getName());

        KafkaConsumer<String, String> consumer = new KafkaConsumer<>(props);
        consumer.subscribe(Collections.singletonList("test-topic"));

        while (true) {
            ConsumerRecords<String, String> records = consumer.poll(100);
            for (ConsumerRecord<String, String> record : records) {
                System.out.printf("offset = %d, key = %s, value = %s%n", record.offset(), record.key(), record.value());
            }
        }
    }
}

Retroalimentación y Consejos:

Errores Comunes: Asegúrate de que el broker de Kafka esté en funcionamiento antes de ejecutar el productor y el consumidor.
Consejo: Utiliza diferentes claves para los mensajes si deseas que se distribuyan en diferentes particiones.

Conclusión

En esta sección, hemos aprendido sobre los productores y consumidores en Kafka, cómo configurarlos y cómo enviar y recibir mensajes. Estos conceptos son fundamentales para trabajar con Kafka y sentarán las bases para temas más avanzados en los próximos módulos.

Productores y Consumidores

¿Qué es un Productor?

Características de los Productores:

Ejemplo de un Productor en Java:

Explicación del Código:

¿Qué es un Consumidor?

Características de los Consumidores:

Ejemplo de un Consumidor en Java:

Explicación del Código:

Ejercicio Práctico

Ejercicio 1: Crear un Productor y un Consumidor

Retroalimentación y Consejos:

Conclusión

Curso de Kafka

Módulo 1: Introducción a Kafka

Módulo 2: Conceptos Básicos de Kafka

Módulo 3: Operaciones de Kafka

Módulo 4: Configuración y Gestión de Kafka

Módulo 5: Temas Avanzados de Kafka

Módulo 6: Ecosistema e Integraciones de Kafka

Módulo 7: Estudios de Caso y Mejores Prácticas de Kafka