En el subcapítulo anterior construimos un data lake para analizar datos almacenados. Pero muchos datos llegan en tiempo real, de forma continua: clics en una web mientras los usuarios navegan, lecturas de sensores cada segundo, transacciones según ocurren... ¿Cómo capturas y procesas ese flujo continuo de datos en el momento, sin perder nada? Para eso existe Amazon Kinesis, el servicio de AWS para datos en tiempo real (streaming). Veremos sus dos componentes principales: Kinesis Data Streams y Kinesis Data Firehose.

Hay datos que no llegan «de vez en cuando» en archivos, sino como un chorro continuo que no para:

Procesar esto plantea retos: llega constantemente y en gran volumen, no puedes perder datos, y a menudo quieres reaccionar al instante (detectar un fraude mientras ocurre, no al día siguiente). Necesitas algo capaz de capturar y mover ese flujo continuo de forma fiable y escalable.

El procesamiento de datos en tiempo real (streaming) consiste en capturar y procesar los datos a medida que se generan, de forma continua, en lugar de esperar a tener un lote grande y procesarlo luego (lo que sería procesamiento «por lotes» o batch).

Analogía: la diferencia es como entre una presa y un río. El procesamiento por lotes es como una presa: acumulas el agua y la sueltas de golpe cada cierto tiempo. El streaming es como un río que fluye sin parar: el agua (los datos) pasa continuamente y la aprovechas según fluye. Kinesis es el «cauce» preparado para gestionar ese río de datos sin que se desborde ni se pierda.

Amazon Kinesis es la familia de servicios de AWS para capturar, procesar y analizar datos en tiempo real (streaming) a gran escala. Te permite ingerir flujos enormes de datos continuos de forma fiable. Tiene varios componentes; veremos los dos principales.

Kinesis Data Streams captura un flujo continuo de datos en tiempo real y lo pone a disposición para que tus aplicaciones lo procesen al instante. Los datos entran en el «stream» y tus consumidores (por ejemplo, Lambdas, recuerda que Kinesis puede ser un trigger de Lambda, subcapítulo 14.2) los leen y procesan en el momento.

• Para qué: cuando necesitas reaccionar en tiempo real a los datos (detectar fraude al instante, alertar de una anomalía de un sensor, actualizar un panel en vivo).
• Clave: los datos están disponibles para procesarse inmediatamente, con mínima latencia.

Analogía: Kinesis Data Streams es como una cinta transportadora en vivo en la que van pasando los datos, y tus trabajadores (aplicaciones) los van cogiendo y procesando según pasan, sin esperar. Ideal cuando cada dato importa ahora.

Kinesis Data Firehose se centra en algo distinto: recoger un flujo de datos y entregarlo automáticamente en un destino de almacenamiento o análisis (como S3 —tu data lake del subcapítulo 29.1—, Redshift, etc.), sin que tengas que programar nada para gestionarlo. Es la forma más sencilla de cargar datos de streaming en un sitio donde guardarlos o analizarlos.

• Para qué: cuando quieres llevar un flujo de datos a tu data lake (S3) u otro destino de forma automática y sencilla, sin necesidad de procesarlo al instante.
• Clave: es totalmente gestionado y muy fácil: configuras el origen y el destino, y Firehose se encarga de mover los datos (puede incluso transformarlos o agruparlos por el camino).

Analogía: si Data Streams es una cinta transportadora en vivo, Firehose (cuyo nombre significa «manguera de bombero») es como una manguera que canaliza el chorro de datos directamente hasta el depósito (S3). No te preocupas de gestionar la cinta ni los trabajadores: solo conectas la manguera al depósito y los datos fluyen allí automáticamente.

💡 Regla práctica: si necesitas reaccionar al instante a los datos, usa Data Streams. Si solo quieres llevar los datos de streaming a un sitio (como tu data lake en S3) de forma fácil y automática, usa Firehose. A menudo se usan juntos: Streams para reaccionar en vivo y Firehose para archivar el mismo flujo en S3.

Kinesis es a menudo la puerta de entrada de datos en tiempo real hacia el data lake del subcapítulo 29.1:

Así, los datos que llegan continuamente acaban en tu data lake, listos para analizarse junto con los demás. Streaming (Kinesis) y data lake (S3+Glue+Athena) se combinan en una plataforma de datos completa.

Ejemplo del mundo real: una plataforma de videojuegos online quiere analizar el comportamiento de los jugadores en tiempo real y también guardarlo para análisis posteriores. Usan Kinesis Data Streams para capturar cada acción de los jugadores (millones por minuto) y procesarlas al instante con Lambdas que, por ejemplo, detectan trampas o ajustan la dificultad en vivo. A la vez, usan Kinesis Data Firehose para volcar ese mismo flujo de eventos en S3 (su data lake), donde luego lo analizan con Athena para entender tendencias a largo plazo. Streaming para reaccionar ahora, data lake para entender el histórico: lo mejor de ambos mundos.

• Muchos datos llegan en tiempo real, de forma continua (clics, sensores, transacciones); procesarlos requiere capturar ese flujo continuo sin perder nada, a menudo para reaccionar al instante.
• El procesamiento en streaming trata los datos según se generan (como un río que fluye), frente al procesamiento por lotes (como una presa que acumula y suelta).
• Amazon Kinesis captura, procesa y analiza datos en tiempo real a gran escala. Dos componentes principales:
  • Kinesis Data Streams: captura un flujo en vivo para procesarlo al instante (reaccionar en tiempo real: fraude, alertas). Como una cinta transportadora en vivo.
  • Kinesis Data Firehose: recoge un flujo y lo entrega automáticamente en un destino (S3, Redshift...), totalmente gestionado. Como una manguera hacia el depósito.
• 💡 Data Streams para reaccionar al instante; Firehose para llevar datos a un destino fácilmente. A menudo se usan juntos.
• Kinesis es la puerta de entrada de datos en tiempo real hacia el data lake (S3), combinando streaming e histórico.

En el siguiente subcapítulo veremos el otro gran pilar de la analítica: el almacén de datos optimizado para consultas a gran escala, Redshift.