Kafka Connect es una herramienta integral para la integración de datos en Apache Kafka. Permite la conexión de Kafka con sistemas externos, como bases de datos, sistemas de almacenamiento, y otros sistemas de mensajería, de una manera sencilla y escalable. En este módulo, aprenderemos sobre los conceptos básicos de Kafka Connect, cómo configurarlo y cómo utilizarlo para mover datos hacia y desde Kafka.

• Fuente (Source) Conectores: Permiten la importación de datos desde sistemas externos a Kafka.
• Sumidero (Sink) Conectores: Permiten la exportación de datos desde Kafka a sistemas externos.

• Tareas (Tasks): Son las unidades de trabajo que ejecutan los conectores. Un conector puede tener múltiples tareas para paralelizar el trabajo.

• Trabajadores (Workers): Son las instancias de Kafka Connect que ejecutan las tareas. Pueden ser distribuidos o independientes.

• Configuración de Conectores: Define cómo se comportan los conectores, incluyendo las propiedades de conexión y las transformaciones de datos.

Kafka Connect viene incluido con la distribución de Apache Kafka. No se requiere una instalación separada.

Ejemplo: Conector de Fuente JDBC

• name: Nombre del conector.
• connector.class: Clase del conector.
• tasks.max: Número máximo de tareas.
• connection.url: URL de conexión a la base de datos.
• connection.user: Usuario de la base de datos.
• connection.password: Contraseña de la base de datos.
• table.whitelist: Lista de tablas a importar.
• mode: Modo de importación (incremental en este caso).
• incrementing.column.name: Columna utilizada para el seguimiento incremental.
• topic.prefix: Prefijo para los temas de Kafka.

Ejemplo: Conector de Sumidero Elasticsearch

• name: Nombre del conector.
• connector.class: Clase del conector.
• tasks.max: Número máximo de tareas.
• topics: Temas de Kafka a exportar.
• connection.url: URL de conexión a Elasticsearch.
• type.name: Tipo de documento en Elasticsearch.
• key.ignore: Ignorar la clave del mensaje.
• schema.ignore: Ignorar el esquema del mensaje.

1. Objetivo: Configurar un conector de fuente JDBC para importar datos desde una base de datos MySQL a Kafka.
2. Pasos:
   • Configura una base de datos MySQL con una tabla llamada employees.
   • Inserta algunos datos de ejemplo en la tabla employees.
   • Configura un conector de fuente JDBC para importar los datos de employees a un tema de Kafka llamado jdbc-employees.

Solución:

1. Objetivo: Configurar un conector de sumidero Elasticsearch para exportar datos desde un tema de Kafka a Elasticsearch.
2. Pasos:
   • Configura un clúster de Elasticsearch.
   • Configura un conector de sumidero Elasticsearch para exportar los datos del tema jdbc-employees a un índice de Elasticsearch llamado employees.

Solución:

En este módulo, hemos aprendido sobre Kafka Connect, una herramienta poderosa para la integración de datos en Kafka. Hemos cubierto los conceptos clave, cómo configurar conectores de fuente y sumidero, y hemos realizado ejercicios prácticos para reforzar el aprendizaje. Con Kafka Connect, puedes mover datos de manera eficiente y escalable entre Kafka y otros sistemas, facilitando la construcción de pipelines de datos robustos.